车载机器视觉的图像传感需求——Mobileye在2021图像传感器工作会议上的演讲

车载机器视觉的图像传感需求——Mobileye在2021图像传感器工作会议上的演讲

在2021年的国际图像传感器工作会议上（IISW2021), 主办方特约mobileye做了一个‘从ADAS及AV（自动驾驶）应用需求的角度如何设计图像传感器’的演讲。

Mobileye的成像架构师以HDR为切入点介绍了其车载机器视觉Soc对传感器的设计需求，在方法论上很有借鉴意义。

*芯片设计需要要match具体的应用

车载领域视觉芯片继承自传统相机应用，所以倾向于‘供人观看’这种应用，但这与现在车载ADAS/AV的需求不符，ADAS和AV并不是输出‘供人观看’的图像。

ADAS/AV Soc输出的判决是综合结果，而且判决过程是Soc厂家要知识产权保密的范围，这都给图像传感器的设计造成不确定性。虽然如此，传感器的设计依然有方法可依。

case 1----驶入驶出隧道

从车载应用而言，很基础的一个HDR需求点就是汽车驶入驶出隧道，如下图：

难点有三：

1.高速行驶，处理时间短。

2.在出入隧道处存在剧烈的光线变化，如果在这种情况前方有事故车辆停在路上，处理会非常紧急。

3.太阳的照射角度非常低，导致路面被照得很亮。

* 这种场景，哪些要素应该被检测到？

1.前方车辆是在隧道内还是隧道外？

2.地面的路标线

3.隧道外路面有什么变化？

4.有什么意外的情况？

*如果是传统的相机，应对这种场景会有哪些问题？

相机的自动曝光会出现这样的一个控制过程：

如果相机帧率是30fps，10帧图像AE能达到收敛，车速是100KM/h,那么汽车就有近10米行驶在看不清前方的路上。对ADAS/AV而言，决策不是根据一帧图像，而是一系列连续图像，这就使得对HDR的需求成为必须。

case 2---夜景HDR场景

*夜景HDR场景是另一个比较困难的case

1.检测到黑暗中的路人（300/22bit)

2.检测到很亮且存在闪烁的车灯和交通灯(6626240/2629632/24bit)

从ADAS/AV应用角度来说，需要一帧曝光就可以达到如下指标的传感器

1.需要LFW达到10Me,

2.需要24bit的ADC

从成本和物理尺寸限制的角度来说，达到这个指标可能不现实，所以就需要在某些技术方面妥协，也可尽量满足这种需求。比如采用多帧曝光融合HDR技术：

时域多帧融合HDR的缺陷：

1.各曝光之间的图像变化

2.SNR drop

3.牺牲了一定动态范围

3、4曝光 HDR解决了一些问题，但仍存局限

检测到人，车，路标，交通灯这些属于基本需求，这些都属于high contrast物体，相对比较容易检测。

因为对噪声非常敏感，路面纹理非常难检测，很多时候自动驾驶需要根据纹理判断出路面，然后决定车往哪开。在HDR的情况下能检测到路面纹理，是车载HDR的一个重要需求。

*单曝光 高Analog Gain

为了应对low light的情况，尤其是近光灯下，检测远处的行人，一般采用单曝光高AG，虽然DR减小了，但是SNR提高了。这种情况一般是低温，所以DSNU不是主要的，readnoise 也不大，shot noise是主要的噪声。

*如果在HDR融合的情况使用High AG

1.Low light SNR会好，但是SNR drop会比较大，所以会看到noisy的天空，

2.SNR drop发生在较低的照明下，街灯的闪烁会导致路面纹理变化。

所以夜景下想检测到所有的要素是非常难的。

*High Gain + low Gain HDR 融合

这种方法可以解决低光的路面纹理问题，但是为了让low gain不饱和，只能用非常短的曝光时间，这样又有led 灯频闪的问题。

*HDR对于车载ADAS/AV应用的'Error Recovery'是必须的

一个soc 芯片往往连接十多个camera，任何一个camera出问题都会影响系统全局。更多的camera就会增加更大的风险,所以系统需要瞬时错误恢复机制（transient error recovery）。

如下图所示：当Frame1 camera发生错误，在Frame2的header系统可以检测到瞬态错误，在frame3才可能修复错误，所以错误恢复时间至少三帧。

这个机制和AE类似，如果瞬态错误和AE控制逻辑耦合，系统的不稳定就会增加更多。

所以‘不需要AE控制’加‘HDR’是系统的必须的，这样理想的状态就是：

一帧错误，即时检测排除掉错误帧。这样系统设计简化，降低风险。

*再回到我们最初的梦想：一个曝光可以获得10Me LFW（linear Full Well），24bit的图像

现在工业界如何逐渐满足这个看似不可能的需求呢？

从IISW可以看到，工业界一方面在提高像素的LFW，比如增加overflow capacitor，Onsemi在2020年推出的3um HDR sensor就是一个很好的例子。

Double readout + split photo diode是另一个技术，有了double sampling就可以避免exp1在低光下只能用High gain，spd虽然减小了LFW会增加hdr noise，但在其他方面得到了好处。

Sony的3um split pixel设计达到了132dB @single exposure，pixel LFW 166ke，如下图所示，这就逐渐接近10Me（140dB）的‘最初的梦想’了。

Sony的大像素是3um，小像素是14.5倍less sensitive，这样算来，小像素的pixel 是0.8um。（sony现在已经量产>140dB LFM的车载sensor， Maver Jiang 注）

OV的split pixel采用3 exposure 4capture设计，可以达到144dB（24b）如下图所示：

Led market越来越亮的光源是这种设计的潜在风险，不过目前来看还是ok的。

*把传感器的性能与现实关联，而不是空泛的设计图

Sensor厂的设计往往是简单地以某种模型表示，比如下图：

而soc或者系统厂面临的是复杂的实际场景，比如下图：

Sensor厂在介绍产品性能的时候总是拿一个数学模型说事，比如Sony提到他们以小像素HCG的方法来应对LCG SPD high dark current的问题，sony 用上边的模型来解释他们的性能，

但是从系统方案开发的角度这个性能介绍是不够的，我们希望一些不同的性能展现可以与现实问题关联，比如用Driving Data来了解到底SNR drop是在哪部分图像出现的。