1.车机硬件:
车机硬件主要是原始感光或者应声部件,用于接收DMS摄像头输入的驾驶员面部或者手部信息及OMS输入的乘员信息,同时接收车内乘员输入的相关语言信息,车载音箱,显示灯硬件单眼。
2.图像或者语音处理芯片
包含对人脸识别,情绪识别,手势识别,危险行为识别,多模语音,功能算法等应用。
感知软件:包含多模感知算法,数据闭环的数据埋点,插件管理和基础组件。
功能安全:实现芯片处理的硬件级别及软件级别的功能安全分析和构建。
系统管理:包括底层OTA,配置组件,功能齐全,诊断,生命周期控制。
公共管理:基本日志,链路,配置等。
3.系统及中间件平台
与智能驾驶类似,智能座舱在系统平台层次需要建立硬件适配性和驱动程序,包含进行安全数字输入输出单元,电源能量分配,编解码,显示,音频输出,can通信等单元。
4.决策中心
这里包括感知SDK建立场景SD,进而构建定制化的场景及图像/语音感知能力。
多模态座舱交互技术总体包括:语音+手势+视线智能人机交互系统
过程包括:定义车身数据库,车内感知数据库,并进行用户交互行为数据库建立,
开发用于云端场景推荐匹配SDK,后续用于解决全场景联调服务推荐功能,进一步的采集用户典型场景行为数据,将实际用户行为数据输入个性化配置引擎推动实现场景SDK。最终解决车控,音乐,支付等常规服务推荐功能。
5.交互应用
整个交互应用包括了车身控制,系统控制,第三方app交互控制,语音播报,用户界面等方面,同时,对于第三方应用中的地图,导航,天气,音乐等也有一定的要求。