车载相机在ADAS/自动驾驶应用中的20个技术挑战

今天，车载相机已经成为现代汽车中不可或缺的一部分，不论在辅助驾驶还是在自动驾驶应用领域，越来越多的相机装备在机车上。

根据Tesla现在的配置，全车有9个Camera。

根据Waymo的配置，全车有29个Camera，总价值超过20万人民币。

为了保证ADAS/自动驾驶能够可靠地运行，无论白天黑夜、天气状况、照明和道路状况车载相机都应能确保输出稳定可靠且符合应用需求的图像，这就对车载相机开发者提出了艰巨的考验。可以说百分之一百地满足上述需求是一个不可完成的任务，所以从系统开发的角度，为了提高系统的鲁棒性，就一定要针对车载相机可能的故障模式进行分析，针对每种错误都应有相应的软硬件对策，所以无论从ADAS还是自动驾驶系统的开发者，都会将车载相机的故障模式分类归纳整理，在ML系统训练时可以把故障引入训练模型中，在产品实现时也可以针对每种危害制定相应对策。欧洲道路安全组织资助的科研团队整理了20个常见的车载相机的技术问题点，当然不可能穷尽真实的情况，但对软件和系统工程师建立弹性架构及评估应用的鲁棒性会有基础性的帮助。

从车载相机的硬件角度，出现故障可能有5个来源：

镜头，IRfilter，Bayer Color Filter，Image Sensor 和 ISP。

从相机的工作环境来讲，汽车这种使用环境复杂的产品会受到：

天气（包括风霜雨雪温度等）、照明条件、环境污染、时间（昼夜）、地理条件、使用地区差异的影响。

所以所有的故障是前边5个硬件组件与后面这些使用条件复合的结果，体现在以下这些故障图像或者电器信号的输出异常上。

1. banding，有竖条也有的情况体现为横条，一般为image sensor的故障导致

2.图像饱和，导致内容信息缺失，一般为image sensor，也有可能来自镜头组件的故障。

3.模糊，一般是镜头受损离焦导致。

4. 亮线，一般是由于对向的lidar照射，损伤了image sensor

5.镜头损伤，没啥可说的，飞石正好打到镜头了。

6.冷凝，车外空气与相机内温度差大，导致在镜头冷凝成水，破坏图像质量。

7.坏点，image sensor出厂时一般都会做坏点消除，但是长时间使用后会产生新的坏点，尤其是相连的坏点，图像信号处理也不能动态消除。

8.脏污，镜头被环境脏污污染造成图像质量损失。

9.眩光，镜头内，或者镜头与图像传感器之间的光线反射造成。

10.结冰，为了对抗结冰，有的相机有加热功能

11.下雨，雨滴干扰图像质量，有的相机带空气喷嘴，可以把镜头上的水滴吹掉

12.ISP色彩还原异常，colorfilter或者irfilter损伤导致

13. Color Aberration 矫正出错，图像边缘出现color aberration这种颜色异常

14.demosaic 不工作，出现图像失色

15.去噪模块异常，图像噪声严重

16.锐化异常（还叠加了CA等）

17.电超载，由于相机供电或者电路异常导致的故障，这些异常一般都在图像传感器的Function safety部分会有更细致的分类，图像传感器厂家会根据设计归纳出若干种类的异常，比如时钟，通信，总线，接口，寄存器读写等。

18.高温造成的损害，高温往往会损害镜头，也会造成imagesensor的工作异常，比如暗电流的漂移，飙升等等。

19.led flicker，由于各种led灯的供电规格不一致，即使具有LFM的image 

sensor也不能改善所有的LED。

20.沙尘，沙尘可以侵入相机模组，造成图像质量下降。

基于以上20种常见问题点，研究员先分析了没有问题理想情况下各种不同卷积神经网络测得的精度AP（average precision）

然后分析了加入各种故障干扰后（镜头损伤，脏污，雨水）的系统AP值，可以看出各种网络对抗某种干扰的能力。

开发者可以沿着这个思路构建起自己的故障处理与应对系统，增加ADAS与自动驾驶的系统的稳定性。