“下场”造车不再稀罕，跨界“硬核”技术也在涌入汽车行业

随着不断有跨界造车的企业涌入，汽车智能化在现有软硬件基础上，也有更多非汽车行业的高端技术寻求产业变革机会。

比如，和激光雷达类似，驾驶舱视觉监控也是一个刚刚兴起的市场。除了帮助对驾驶员疲劳、分心驾驶进行预警，L3自动驾驶的人机交互，视觉监控还可以实现对乘客的全程监控，以后未来对于Robotaxi的远程监控。

近年来，可见光摄像头+IR LED，3D ToF等技术路线都在并行推进，其中，前者由于高性价比以及软硬件的成熟度优势占据市场主流。不过，和激光雷达一样，DMS/OMS同样存在多条技术路线的落地机会。

短波红外(SWIR)传感技术，是最近被导入舱内监控的技术方案之一。近日，以色列初创公司TriEye与大陆工程服务公司(CES)合作，专注于在驾驶员监控系统中实现SWIR成像系统的前装应用。

此前，总部位于特拉维夫的TriEye已经推出了应用于车外的HD SWIR摄像头，允许在恶劣天气、光线不足或大雾等条件下正常工作，从而增加传统可见光摄像头的能力。

TriEye此前已经拿到了英特尔、保时捷、三星等行业巨头的投资，同时，包括电装等多家汽车零部件厂商已经在进行技术和样件的评估，以验证能否导入前装市场。

一、中外都在聚焦短波红外

从理论上说，物体本身就可以辐射出中红外（MIR）和远红外（LWIR）光，短波红外（SWIR）和可见光比较类似，所发出的光子都会被物体反射或吸收。

 

由于具有这种反射性质，短波红外光在其图像上就会有阴影和反差。短波红外相机的图像在分辨率和细节方面可以与可见光图像相媲美。

然而，短波红外图像的颜色不是实际颜色。这可以使物体变得容易被识别，同时又可以构成短波红外的优点之一，即物体或个体辨别。

SWIR成像之前已经广泛用于各种不同的应用，包括电子板检查、太阳能电池检测、生产检查、识别与排序、反假冒、过程质量控制等。

短波红外（SWIR）光一般定义为0.9－1.7μm波长范围内的光线，但也可归入0.7－2.5μm波长范围（可见光相机通常在0.4-0.75um的光谱范围内）。短波红外特别适合光线较弱的场景，能够在无月光的夜间很清楚地“看到”目标。

与可见光相机相比，短波红外相机具有更低的折射系数，这意味着它的散射明显更小，可以感知到标准可见光相机无法看到的东西。最关键的是，可以实现在所有天气和光照条件下的有效工作。比如，针对雾天、沙尘暴的高穿透性探测优点。

 

同时，和远红外热成像相比，短波红外相机则能够实际辨认该物体是什么。而前者无法提供采用InGaAs短波红外焦平面阵列所能实现的分辨能力和动态范围。

还有一个优点是，短波红外相机可以区分光谱波段的相对强度，识别光谱特征之间的差异。这样就可以区分目标物的材料，如沥青表面的冰或水。

此外，短波红外相机无需低温制冷，可采用常规的低成本可见光透镜。同时，可以做到小尺寸，功率低，能够透过玻璃进行成像。不过，传统的工艺制造，仍然成本高昂。

回到汽车智能驾驶场景，基于传统的可见光摄像头，一项研究显示，当测试自动紧急制动系统与行人检测系统时，没有一个已经量产的系统能够在夜间检测到车辆前面的行人过马路。

这就是ADAS以及自动驾驶需要解决的低能见度的挑战，因为大多数严重的交通事故发生在这些光线不理想或者恶劣天气的条件下。

在TriEye公司看来，尽管大多数L4级自动驾驶测试车可以搭载足够多的传感器，但是在私人乘用车市场，成本是一个至关重要的决定因素。对于汽车制造商来说，大批量生产的车，对于ADAS组件必须考虑成本效益。

与此同时，即便将现有的可以采用的传感器组合到一个系统中，它们仍然不能在所有天气和光照条件下实现全域工作，这是一个迫切需要关注的问题。

此外，传统方案在准确的目标检测方面也存在不足。即使在最佳的能见度条件下，对于穿深色衣服的行人或深色皮毛的动物过马路，也可能出现类似的识别问题。打个比方，特斯拉经常会检测到“幽灵”目标，也可能是可见光摄像头的问题。

 

 

基于铟镓砷(InGaAs)的SWIR相机已经存在了几十年，并在科学、航空航天和国防工业中得到了应用。那么，为什么一直以来，短波红外相机没有被导入汽车行业？

原因是，高昂的成本和较大的外形体积因素，过去并不适合应用于类似汽车这样的民用市场。而TriEye推出的技术方案，则是基于CMOS工艺，体积小，成本比当前技术低1000倍。

公开信息显示，市面上用于专业领域的铟镓砷短波红外相机价格高达8000美元以上，高昂的价格也限制了其在其他领域的大规模应用，市场规模严重受限。

 

而类似TriEye采用的CMOS集成电路的一体化集成技术，具有波长范围大、兼容性好、特性可调、成本低廉的优点，其成本不到传统芯片的百分之一，系统整体降价百分之七十。

去年，由中国研究机构推出的新一代量子点短波红外成像芯片也已经进入商业化应用开发阶段，包括华为、高德红外等企业已经开始前期的项目落地推进。

二、算法兼容是杀手锏

为什么短波红外相机具备快速应用于智能驾驶感知的能力？要知道，对于规模化应用来说，除了硬件成本的下降，还有很重要的考量因素是软件算法的开发成本。

一直以来，不管是双目立体视觉还是远红外成像技术，都存在类似问题，除了专用软件算法还需要克服场景库缺失的问题。这也是很多零部件厂商以及汽车厂商不愿意采用新的视觉感知技术的原因之一。

按照TriEye公司的说法，短波红外图像数据可以用为可见光相机开发的相同算法进行处理。使用现有的深度学习算法简化了开发过程，节省了大量时间和资源，因为算法不需要从头开始开发。

比如，在短波红外对象识别能力方面，TriEye利用了开源的可见光视觉算法，将近4000帧数据转换为短波红外相机数据（由TensorFlow生成的Yolo），如图所示。

 

另一个例子是基于完全卷积网络的语义道路分割（伯克利开发的FCN-8架构），使用在ImageNet上预先训练的VGG16。

 

更关键的是，短波红外相机收集和产生常规图像数据，类似于标准可见光相机产生的数据。这种简单的输出类型允许工程师轻松地将其与目前使用的系统集成，并以类似的方法处理图像。

按照TriEye公司的说法，短波红外相机能够同样产生驾驶场景的高清成像，类似于可见光相机，但在普通的低能见度条件下具有独特的性能优势，从而实现ADAS在低能见度条件下的更安全可靠。

这意味着，即便是目前已经逐步成为新车主流配置的ADAS功能，尤其是AEB，能够持续全天候运行，在白天、夜晚和最极端的天气条件下都可以提供最高能见度。

 

去年，TriEye公司发布了首款产品，命名为Raven，是全球第一款完整基于CMOS工艺打造的短波红外高清相机，分辨率1280×960，体积为3x3x2.5cm（不包括镜头，并且可以实现灵活的集成。

这款相机其他性能参数包括，17°x12°或46°x34°的视场角；4:3、30帧/s；输出接口为GMSL II/FPD LINK III，并符合IP68等级。

此外，短波红外相机可以放置在玻璃（挡风玻璃，汽车头灯等）后面，和目前传统的摄像头类似，但远红外热成像相机目前做不到。

英特尔以色列投资公司董事总经理Yair Shoham表示:“随着汽车行业向自动驾驶过渡，对传感器技术的需求预计将迅速增长。TriEye的技术有潜力增强传统相机的功能，在低能见度条件下提高性能。”

目前，日本电装正在评估该公司基于SWIR技术开发的工程样件。此前，保时捷和其他客户也已经启动评估，以验证该方案在各种场景下提供图像数据的能力。

舱内感知应用，是该技术方案的又一次突破。由于传统的可见光摄像头监测，受到来自太阳以及对向车道的眩光，立交桥、树木以及隧道的阴影模式影响，对车内监控的安全性和可靠性有一定的约束。

 

“传统依靠可视或近红外摄像头来监控驾驶员的系统，在许多常见的驾驶场景中都无法运行。”TriEye公司相关负责人表示，即便是近红外光源，也会遇到外部照明的饱和度等问题，这导致不准确的评估监控。

从目前拿到的测试数据来看，短波红外相机可以解决汽车内部低能见度的挑战，同时对环境光照有充分的稳定性。比如，防止眩光和阴影，同时在更大功率下可以做到眼睛安全，这意味着可以大幅增加信噪比(SNR)。

同样，和车外ADAS类似，现有的基于可见光摄像头的深度学习DMS算法也可以被重用。这意味着，短波红外相机方案允许无缝集成，大大缩短了车型的上市时间。

除了提高座舱监控能见度，TriEye公司还将评估短波红外技术在材料感知方面的独特附加值。比如，大陆工程服务公司正在尝试如何实现增强的用户识别能力、精确的安全带检测（传统检测只能覆盖安全带是否已经卡扣）。

在高工智能汽车研究院看来，传统意义上通过算法迭代来提升硬件性能的时代已经告一段落。接下来的3-5年时间，硬件的革新将重新引领智能汽车行业的新革命。