双目立体视觉“斩获”ADAS最高评级分，市场窗口期重新开启

根据高工智能汽车研究院监测数据显示，2020年国内新车（自主+合资品牌）搭载双目立体视觉ADAS上险量为26.23万辆，渗透率（占全部ADAS搭载车型）仅为4.36%，仍属于小众路线。

随着华为、大疆陆续发布基于双目（立体视觉）感知的自动驾驶方案，这个一直以来仅有少数几家供应商参与研发量产的技术路线，正在重新成为市场的焦点。

近日，搭载全新一代立体视觉方案的斯巴鲁Levorg（力狮）在日本NCAP (JNCAP)中拿到了最佳成绩，超过了10辆获得五星评级的竞争车型，以最高分获得最佳五星奖。

 

这是又一次对于立体视觉感知系统的量产证明，尤其是面对目前单目视觉能力还有所欠缺的场景能力，比如，晚上光线较暗情况下对车辆和行人的自动紧急制动(AEB)。

从此次评级测试反馈的结果来看，针对上述场景测试，这套全新一代的双目立体视觉感知系统+毫米波雷达融合感知拿到了满分。

一、双目立体视觉四次迭代

斯巴鲁从2008年开始，就把基于双目立体视觉感知的ADAS系统作为一个独立的品牌（EyeSight）进行命名；目前已经演进到第四代产品。

2015年开始，第三代EyeSight对性能再次做了提升，AEB的最高时速做到了50km/h（上一代为40km/h），ACC可以实现180km/h（上一代为140km/h）的工况。

一方面，整体设备体积缩小了15%，对摄像头进行了升级（彩色摄像头，可检测刹车灯），并且测距范围进一步提升40%，以及更宽的视角。这个系统在2018年美国新车监管机构的正面碰撞测试中拿到了最高评级。

而去年上市的第四代EyeSight，除了更换了供应商（从日立变更为Veoneer），整体性能也进行了进一步的迭代升级。

首先，立体摄像头单元体积进一步变小。同时，增加了4个角毫米波雷达融合感知能力，满足未来几年即将推出的Euro-NCAP和JNCAP的评估要求。此外，还在双目感知的基础上增加了更多的深度学习能力。

同时，摄像头的CMOS供应商仍然是斯巴鲁一直合作的安森美半导体，新一代摄像头的像素也从1.2M增加到2.3M，系统FoV增加了2倍左右。

 

这套系统基于Veoneer的第四代立体视觉系统进行定制开发，使用了卷积神经网络技术，增强了可行驶区域识别和小障碍物检测，并且可以实现对各种天气条件下的三维物体（车辆、摩托车、行人、车道、交通标识、信号灯等）进行处理和分类。

同时，斯巴鲁在算力平台方面，弃用了ASIC芯片转而使用赛灵思的FPGA（Zynq UltraScale+ MPSoC），除了满足双目立体视觉本身的处理性能提升，部分算力还将用于实现雷达和立体视觉系统的融合。

对于增加雷达融合感知，Veoneer认为，新的77GHz角雷达数据补充了摄像头的前向宽视场（尤其转弯）能力，包括提供更精确的环境模型，更可靠和准确地感知弱势道路参与者，尤其是对于行人和骑行人，在150米的距离内具有更高的距离分辨率和更好的角度精度。

按照斯巴鲁披露的信息，这套系统还可以实现迭代升级，被命名为：“EyeSight X”，消费者需要支付2万元人民币左右的费用进行选装，增加了高精地图、DMS以及转向触摸传感器等新的硬件配置。

这套系统的功能激活目前限定在日本的高速公路上使用，提供包括进入弯道时的速度控制、接近收费站时的速度控制、车道变更、可放开双手的交通拥堵辅助等功能。

这意味着，在L2+甚至L3级别，双目立体视觉感知技术也已经具备落地量产能力。而对于Veoneer来说，更大的客户来自梅赛德斯·奔驰，后者最新发布的纯电动旗舰车型EQS也是搭载类似的系统。

 

二、立体视觉的新窗口期

事实上，双目立体视觉技术的量产比单目视觉更早，只不过因为计算机视觉尤其是深度学习技术的快速演进，立体视觉被大部分车企排除在主流感知方案的序列。

当然，还有立体视觉存在的一些瓶颈，比如，低分辨率摄像头拍摄的远距离图像不佳；对算力资源的要求很高；立体相机的校准难题；相对单目更高的成本等等。

不过，近年来相关技术难题也被逐步突破。

比如，高分辨率（800万像素）的摄像头已经成为新车量产的选项之一，HDR和低光图像处理能力的提升，车载算力平台的性能提升以及自动实时相机校准技术的突破。

此外，在障碍物识别方面，立体视觉技术存在天然的优势。

其中，最重要的性能指标是分辨率。一般来说，立体视觉使用主流摄像头，每秒可以提供大约2000个垂直扫描线（一次性）。事实上，相比目前的128线激光雷达（而且还是准行扫描），立体视觉能够提供更好的分辨率。

 

 

同时，和激光雷达相比，通过立体视觉生成的数据更丰富，这反过来使障碍物检测更容易。在弱光情况下，立体视觉分辨率也更高。

除了分辨率和准确性，两个摄像头中的每一个都可以作为独立的单目摄像头，提供冗余感知能力。同时，也可以用于并行执行单目CNN算法，如目标分类。同时，立体视觉具备检测普通3D形状的能力，而不需要类似单目的基于样本的大量训练。

而针对校准问题，此前芯片供应商安霸半导体就开发了一种实时自动校准程序，可以补偿在正常车辆运行中发生的微小位移，因为在典型的驾驶条件下，振动和冲击是常见的问题。

从芯片厂商来看，包括TI TDA4系列、NXP SV32系列、安霸CV2AQ系列、Toshiba Visconti系列等新一代车载人工智能计算芯片，无一例外都包含了立体视觉匹配的模块。

这表明，深度视觉加上深度学习，会有可能成为下一代车载智能传感器、计算当中非常重要的特征点。这方面技术的进入门槛会逐渐降低，从成本和方案都会更易用。

作为国内双目立体视觉领域的领军企业之一，中科慧眼公司认为，双目相机既有图像可以进行深度学习识别，又有点云可以进行分割与测距，融合了类激光雷达和机器视觉的综合能力。

将立体视觉的深度点云图和深度学习融合，也是立体视觉发展的趋势。比如，夜间同车道、对向车道的目标检测与测距精度都可以借助深度学习的能力得到加强。

同时，将立体视觉和深度学习结合，可以为客户提供性价比更高、性能更强的智能视觉传感器，构成一个比较完备的边缘运算模块，直接将识别数据，3D-BOX，以及精确的测距距离信息等，输送给域控制器直接进行AEB刹车或者自动驾驶控制。

此外，在斯巴鲁的最新一代融合方案中，赛灵思的MPSoC通过对雷达（包括毫米波雷达和激光雷达）数据进行处理，并将其转换为点云，从而与双目立体视觉一起应用目标检测算法。

 

 

在性能方面，这一代立体摄像头的视场角增加了近一倍，通过与角雷达的融合，实现对物体形状的探测，这是斯巴鲁首个“前侧预碰撞制动”系统，以及“预碰撞制动与主动转向辅助”功能，通过转向控制避免碰撞。

此外，为了支持交通事故多发的十字路口的避碰，扩大了碰撞前制动区域，以提高车辆右转弯或左转弯时车辆和行人的避碰能力。

不过，按照斯巴鲁的官方说法，目前这些新功能是都是为日本的道路和驾驶条件定制开发的，该公司将需要为美国等其他地区进行特定开发。

2020年2月，丰田将其在斯巴鲁的股份增加到20%，使其成为一家控股子公司。同时，斯巴鲁正在深化与丰田的合作，包括一款联合开发的跨界电动汽车，有可能会搭载最新一代EyeSight方案。

而在中国市场，随着大疆、华为、日立、中科慧眼、保隆科技（后两家公司的方案已经落地商用车前装）等厂商陆续进入前装双目立体视觉的量产阶段，这条老赛道正在迎来新的机会窗口期。