智能座舱架构与芯片- (8) 视觉篇

一、概述

相比起用于ADAS感知系统的摄像头，用于智能座舱内部的摄像头，其功能特性和性能要求相对简单。例如，OMS乘客监控摄像头，一般达到5MP即可有良好的效果。同时，OMS也可应用于车内会议系统，还应用于车内儿童检测。DMS驾驶员监测系统，SVC 360环视摄像头，DVR行车记录仪，均为自动驾驶域ADC与智能座舱域CDC共用的摄像头。下文将简要介绍这些摄像头的使用方式。

对于车载摄像头来说，它的特点在于摄像头的安装位置，和ISP处理芯片之间的距离。在2MP以下的摄像头，一般会直接输出YUV格式的图像数据，无需额外的ISP进行图像处理。而2MP以上，则摄像头会输出raw原始数据，需要有独立的ISP进行摄像头图像格式处理。由于摄像头使用数目很多，如果每个摄像头都安排一个ISP，那么成本将非常巨大。因此需要将ISP安排在CDC座舱控制器内部，而通过高速传输线缆将摄像头的raw数据传送到集中式的ISP来进行处理。此时就需要使用高速视频传输总线。

如同高速音视频传输接口章节所描述的一样，此时一般使用GMSL或者FPDlink，实现远端Camera的raw数据传输到CDC中来。未来还可能采用的技术有Mipi-A phy 和ASA。此时SerDes串行解串器芯片一般成对设置，在摄像头端集成有serializer chip；在CDC端则设计有desierializer chip；它们之间的距离可以长达10米，最长不超过15米。

作为Camera传输的桥接芯片和传输数据线，可以参考如下图片了解：

二、 OMS

OMS(Occupant Monitor System) 乘客及后座检测系统的简称。在法规上，已经有不少地区和国家在立法要求进行车内儿童检测。欧洲NCAP计划从2023年1月起增加对车内儿童存在检测的评分，各项规定非常细致。美国正在立法要求所有新车预装儿童存在检测功能，预计在2025年全面实施。据说国内相关规范也在评估制订中。

OMS摄像头可以在一定程度上满足车内儿童存在检测的要求。为了提高检测的准确性，甚至还要求增加生命体征检测雷达(UWB或者毫米波雷达)。从目前的实践来看，一般在前排后视镜位置布置一颗5MP，甚至8MP的OMS主摄像头；在第二排第三排座位上方增加2MP的后排OMS。通过人脸识别，动作捕获，活体检测等AI算法的应用，OMS可以提升智能座舱车内的感知。

OMS还可以为如下应用功能提供支持：车内视频会议系统；安全支付系统；人工智能助手融合感知系统等。
为了保证在座舱环境内任何光照强度下都能正常使用，OMS一般要求支持RGB-IR，可见光和红外光双波段工作模式，同时需要布置红外补光灯。在夜间可以采用IR红外光进行检测；在白天采用RGB可见光进行工作。

2.1 TOF

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离。

由于TOF采用