CV技术积累

更新ing...

1 了解无人驾驶倚赖的计算机视觉技术，你需要读这篇 （2016，依图）

传统无人驾驶感知技术（超声波雷达，毫米波雷达，激光雷达LiDAR--昂贵） 

计算机视觉技术在无人驾驶中的应用：

物体识别与跟踪：optical Flow （估计一个二维偏移矢量----基于单个摄像机在连续时刻的图片）与 立体视觉技术（基于多个摄像机同一时刻的图片）

自身定位：基于拓步与地标的算法（需要预先建立精准的拓补图）、基于几何的视觉里程计算法

CV限制：对光线敏感

2 自动驾驶中的传感器

2.1 摄像头

根据图像检测原理：单目摄像头与双目摄像头

原理：

单目需要先识别，再估算距离；双目根据视差，无需识别直接测距，对目标物体距离感知是一种绝对的测量，而非估算。

特点：

单目，优势在于成本较低，对计算资源的要求不高，系统结构相对简单。其缺点在于必须不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率；无法对非标准障碍物进行判断；距离并非真正意义上的测量，准确度较低。

双目，成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；二是没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；三是精度比单目高，直接利用视差计算距离；四是无需维护样本数据库，因为对于双目没有样本的概念。

双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大

根据芯片特性：CCD与CMOS摄像头 

都是利用感光二极管（photodiode）进行光与电的转换，将影像转换为数字信息，而其主要差异则在数字信号传送方式的不同。

工作原理：

CCD传感器每一行中每一个像素（pixel）的电荷信号都会依序传送到下一个像素中，由最底端的部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个像素都会连接一个放大器及模/数转换电路，用类似内存电路的方式将信号输出。

特点：

CCD传感器在灵敏度、分辨率、以及噪声控制等方面均优于CMOS传感器，而CMOS传感器则具有低成本、低耗电以及高整合度的特性。不过，随着 CCD与CMOS传感器技术的进步，两者的差异似乎有逐渐缩小的态势，例如CCD传感器持续在耗电量上作改进，以期应用于行动通讯市场；CMOS传感器则持续改善分辨率与灵敏度的不足，以期应用于更高阶的影像产品市场。

        *灵敏度差异
　　由于CMOS传感器每个像素由四个晶体管与一个感光二极管所构成（含放大器与A/D转换电路），使得每个像素的感光区域远小于像素本身的表面积，因此在像素尺寸（pixel size）相同的情况下，CMOS传感器的灵敏度会低于CCD传感器。

　　*成本差异
　　由于CMOS传感器采用一般半导体电路最常用的CMOS制程，可以轻易地将周边电路（如AGC、CDS、Timing generator或DSP等）整合到传感器芯片中，因此可以节省外围芯片所需负担的成本；而CCD由于采用电荷传递的方式传输信息，只要其中有一个像素不能工作，就会导致一整排的信息不能传送，因此控制CCD传感器的良品率比CMOS传感器更加困难，因此通常CCD传感器的成本会高于CMOS传感器。

　　*分辨率差异
　　如上所述，CMOS传感器的每个像素都比CCD传感器更加复杂，其pixel size很难达到CCD传感器的水准，因此，当我们比较相同尺寸的CCD与CMOS传感器时，CCD传感器的分辨率通常会优于CMOS传感器的水准。

        *噪声差异
　　由于CMOS传感器每个感光二极管都需搭配一个放大器，而放大器属于模拟电路，很难让每个放大器所得到的结果维持一致性，因此与只有一个放大器放在芯片边缘的CCD传感器比较之下，CMOS传感器的噪声就会增加很多，影响图像品质。

        *耗电量差异
　CMOS传感器的影像捕获方式为主动式，感光二极管所产生的电荷会直接由旁边的晶体管放大输出，但CCD传感器则为被动式捕获，需外加电压让每个像素中的电荷移动，而这外加电压通常需要12～18V的水准；因此，CCD传感器除了在电源管理线路设计上的难度更高之外（需外加power IC），高驱动电压更使其耗电量远高于CMOS传感器

摄像头在自动驾驶中的应用

逆光或光影复杂的地方难以使用；摄像头的物体识别功能无可比拟，但由于依赖样本识别物体，以及识别行人具有不稳定性，摄像头应用于测距领域无法保障 100% 的稳定性，在自动驾驶领域脱离激光雷达使用只能应用于 ADAS 而不能应用于完全的无人驾驶。

2.2 毫米波雷达

工作原理：

发射 1~10 毫米的电磁波，根据反射波的时间差及强度等来测量距离，汽车毫米波雷达的频段主要在 24 GHz 和 77 GHz。

特点：

优点在于性价比较高，探测距离远，精度较高，穿透雾、灰尘的能力强，能够全天候全天时工作，在很多高档轿车里都有应用；缺点是行人的反射波容易被其他物体反射波埋没，难以分辨，无法识别行人。

2.3 激光雷达 

工作原理：

通过发射和接收激光束，分析激光遇到目标对象后的折返时间，计算出到目标对象的相对距离，并利用此过程中收集到的目标对象表面大量密集的点的三维坐标、反射率和纹理等信息，快速得到出被测目标的三维模型以及线、面、体等各种相关数据，建立三维点云（Point Cloud）图，绘制出环境地图，以达到环境感知的目的。由于光速非常快，飞行时间可能非常短，因此要求测量设备具备非常高的精度。从效果上来讲，激光雷达维度（线束）越多，测量精度越高，安全性就越高。

在自动驾驶领域应用的激光雷达的测距范围普遍在100~200 m 左右。

特点：

一方面，它颠覆传统了二维投影成像模式，可采集目标表面深度信息，得到目标相对完整的空间信息，经数据处理重构目标三维表面，获得更能反映目标几何外形的三维图形，同时还能获取目标表面反射特性、运动速度等丰富的特征信息，为目标探测、识别、跟踪等数据处理提供充分的信息支持、降低算法难度；另一方面，主动激光技术的应用，使得其具有测量分辨率高，抗干扰能力强、抗隐身能力强、穿透能力强和全天候工作的特点。

相对于摄像头而言，激光雷达由于为主动发射光束，故比较不容易受周围环境如弱光、雨雪烟尘的影响，而且摄像头在进行图像识别处理时需要消耗大量的处理器能力，而激光雷达产生的三维地图信息更容易被计算机解析。相比毫米波雷达，激光雷达的分辨率更高，并且毫米波雷达也不适用于行人检测和目标识别等工作。

成本较高（混合或固态的低线束激光雷达，来降低成本）；大雨和大雪等恶劣条件下的调试困难，对于高精度地图的依赖。

2.4 超声波传感器

原理：

发射振动频率高于声波的机械波，根据反射波测量距离。

特点：

其优点在于探测物体范围极广，能够探测绝大部分物体，且有较高稳定性；缺点是一般只能探测 10 米以内的距离，无法进行远距离探测。因此，超声波雷达广泛应用于倒车雷达，在自动驾驶领域常常作为短距离雷达，应用如自动泊车辅助系统。

2.5 定位传感器 

分类：

惯性导航系统、卫星导航系统（GNSS）、高精度地图、实时动态（RTK）差分系统

特点：

可以获得自身相对于全局的位置信息。其优点在于技术较为成熟，能够实现在全局视角的定位功能；缺点在于无法获得周围障碍物的位置信息。往往需要与前几个探障类传感器搭配使用。