随着汽车技术的快速发展,消费者正在寻找通过对话式语音助手和复杂的用户界面提供人工智能增强体验的车辆。汽车产品、技术、软件和架构必须优先考虑安全、安保以及最高标准的质量和可靠性。这些解决方案实时利用来自传感器、驾驶员辅助系统以及有关驾驶员和周围环境的所有可用上下文的数据。使用不同模态的大型视觉模型(LVM)、大型语言模型(LLM)和小型语言模型(SLM)在本地处理数据,可以通过保持数据私密性并确保高效安全的访问来增强体验。为汽车制造商配备最新技术来设计这些体验至关重要。
人工智能在车辆的运行和环境交互以及驾驶员和乘客与车辆及其周围环境的互动方式中发挥着关键作用。在边缘提供广泛的智能体验,以及跨多个显示器的高级音频和视频功能,需要一个精简的架构、可扩展的芯片和一个专注于未来的协作技术生态系统。
人工智能实现了自然语言和情境感知的驾驶舱体验
现代汽车技术最具创新性和新兴性的方面之一是集成人工智能驱动的信息娱乐系统,该系统使用周围环境的上下文和边缘构建的感知进行实时更新。这种集成超出了添加功能的范围,它实现了驾驶员、车辆和周围环境之间的交互。
汽车创新通过先进的显示屏和人工智能改变了驾驶体验,营造了一个引人入胜、用户友好的环境。这些高科技仪表板动态响应用户偏好,优化气候、音频、导航等设置。通过将安全警报整合到信息娱乐系统中,人工智能可以帮助减少干扰,提高道路安全。
例如,用于安全功能(如车道保持、自适应巡航控制)的相同摄像头和传感器可以为AI提供背景,以个性化信息娱乐产品,例如根据乘客数量及其偏好调整音频级别或气候设置。这种集成允许一个统一的响应系统,通过信息娱乐系统直观地传达安全警报,确保及时发出警告并减少驾驶员分心。
这种融合不仅提高了车辆系统的效率,还提升了整体驾驶体验。它允许娱乐和基本驾驶功能之间更平稳的过渡,使技术能够更好地满足舒适性和安全性需求。
为了实时操作而保持这种环境需要边缘处理,这不仅是出于性能和成本的原因,也是为了满足日益严格的隐私要求。Snapdragon数字机箱解决方案具备当今构建此类解决方案所需的NPU和异构计算能力。
随着高通最近推出的新平台 Snapdragon Cockpit Elite和Snapdragon Ride Elite,Snapdragon数字机箱可以扩展以适应更高级别的AI,并提高CPU、NPU和GPU性能, 以此来满足智能汽车的各方面AI性能需求。
AI是新的用户界面
- 人工智能和编排展示了利用多种车内和车外服务的强大信息娱乐用例。暖通空调、导航和音乐控制都是可以使用车载Qualcomm Edge
Orchestrator进行编排的应用程序示例。 - Qualcomm Edge Orchestrator提供了框架和SDK,可用于通过Qualcomm
Technologies、OEM和第三方开发人员开发的插件或工具扩展和扩展车辆的AI驱动功能。 - 原始设备制造商和汽车一级公司可以使用参考语音助手应用程序来支持独特的人工智能驱动车载体验的开发。
- 通过在边缘使用AI模型进行图像理解,可以添加创新和有趣的功能,从而将推理成本降至零。例如,车辆上的摄像头可以捕捉图像,并使用LlaVa等设备上的模型进行近乎实时的分析,以创建导游应用程序。
多模态AI上下文感知
- 情境感知智能驾驶舱系统由各种传感器(如摄像头、生物识别和环境传感)组成,这些传感器捕获有关驾驶员、车辆操作和环境的信息。这些传感器收集的数据使用神经网络和启发式方法进行处理,以生成分数,如驾驶员分心分数和驾驶员嗜睡分数。基于这些分数,系统执行操作或生成建议。
- 智能界面能够识别各种驾驶场景和个人偏好,并相应地调整显示和控制。例如,在交通繁忙的情况下,驾驶舱可以优先考虑基本的驾驶信息,而在悠闲的驾驶中,它可能会突出娱乐选项或风景路线。
- 车辆上的传感器捕捉地标,而边缘AI可以使用LLaVa等设备上的模型来解释场景。进一步的推断可以提供有关地标的更多细节,比如它是什么时候建造的,为什么建造,或者你是否可以参观它以及何时建造。
Snapdragon数字机箱与部署在云端的AI游乐场
- 虚拟工作台和与广泛生态系统的合作使汽车制造商能够在真实世界测试之前,在受保护的虚拟环境中构建和验证新技术。
- 应用程序/服务人工智能游乐场允许在真实的、基于云的硬件上进行推理,以扩展设备上的人工智能处理能力。在AI游乐场的Qualcomm AI Cloud 100设备上运行的大型模型使用户能够按需请求插图短篇故事,将AI的力量与创造力融为一体。该产品不仅强调了混合人工智能的无缝使用,还强调了其为所有年龄段的乘客提供个性化娱乐的潜力。
- Qualcomm AI Cloud 100可用于卸载在重负载边缘设备上执行时可能不符合延迟要求的复杂或长上下文推理任务。开发人员还可以使用它来测试他们的提示和AI代理,而无需访问开发板。
- 数据模拟工厂(DSF)使用车辆收集的数据在云中进行处理,并为开发新功能、功能和服务提供见解。
- Snapdragon车到云服务帮助工程师构建有助于提高安全性、可定制、身临其境和可升级的互联智能汽车。
通过可扩展的解决方案塑造驾驶的未来
集中式架构、人工智能驱动的信息娱乐系统和周围实时环境的集成正在彻底改变汽车行业。通过利用高通技术公司的先进解决方案,如Snapdragon数字底盘、全面的人工智能工具链和高通设备云,汽车制造商可以设计出优先考虑安全、提高效率的车辆,并提供高度个性化和身临其境的驾驶体验。
从在Snapdragon驾驶舱平台上部署虚幻引擎5到创新的基于人工智能的驾驶员状态监控,高通技术处于提供可扩展解决方案的最前沿。在边缘和云中处理数据的能力允许在向消费者推出之前在安全的环境中开发和验证新功能。
随着我们向前迈进,人工智能、多模式上下文感知和基于云的服务的融合将继续为车辆设计和功能带来新的可能性。这种整体方法使技术能够提高舒适性和安全性,为更智能、更互联的驾驶未来铺平道路。