自动驾驶专题介绍 ———— 摄像头

介绍

 摄像头可以采集汽车周边的图像信息，跟人类的眼睛最为接近。摄像头可以拥有较广的视场角、较大的分辨率，还可以提供颜色和纹理等信息。这些信息对于实现自动驾驶功能是存在很大帮助的。摄像头通过采集图像或图像序列，在经过计算机的处理分析，能够识别丰富的环境信息。还可以通过机器学习算法加持，实现车距测量、道路循迹，从而实现前车碰撞预警（FCW）和车道偏离预警（LDW）。

工作原理

 基于车载摄像头的视觉传感系统的大致如下：
  1. 图像处理：将图片信息转化为二维数据；
  2. 模式识别：通过图像匹配进行识别；
  3. 距离测量：利用物体的运动模式或双目定位，估算目标物体与本车的相对距离和相对速度，实现测距；

 硬件方面，车载摄像头主要由CMOS镜头、芯片、其他物料（内存、SIM卡、外壳）等组成。CMOS镜头具有读取信息方式简单、输出信息速率快、耗电少、集成度高、价格低等特点，基本上属于车载摄像头的核心。
 软件方面，以Mobileye为例，主要体现在芯片的升级和处理平台的升级，工作频率从122MHz提升到332MHz，访问方式的改变将速率提升了一倍，图像由640480彩色像素提升到20482048（输入）和4096*2048（输出）等。

实现功能

可依赖摄像头完成的ADAS功能
功能	简称	功能描述	摄像头位置
车道偏离预警	LDW(Lane Departure Warning)	检测到车辆即将偏离车道线时，发出警报	前视摄像头
前向碰撞预警	FCW(Forward Collision Warning)	检测到与前车距离过近即将追尾时，发出警报	前视摄像头
行人碰撞预警	PCW(Pedestrian Collision Warning)	检测到与行人距离过近即将碰撞时，发出警报	前视摄像头
交通标志识别	TSR(Traffic Sign Recognition System)	识别前方道路两侧的交通标志	前视摄像头 侧视摄像头
盲点检测	BSD(Blind Spot Detection)	将车左右后视镜盲区内的影像显示在车内	侧视摄像头
驾驶员注意力监测	DMS(Driver Monitor System)	检测驾驶员是否疲劳驾驶、闭眼等	内置摄像头
全息影像	AVM(Around-View Module)	通过图像拼接技术，输出车辆周围的全景图	环视摄像头
车道保持辅助	LKA(Lane Keeping Assist system)	检测到车辆即将偏离车道线时，向转向电机发出指令，纠正车辆的行驶方向	前视摄像头
自动紧急制动	AEB(Autonomous Emergency Braking)	在车辆遇到突发情况时，视情况发出预警或是采取不同程度的制动，以至于完全刹停	前视摄像头
全自动泊车	APA(Auto Parking Assist)	通过探测到车位并完成泊入功能	环视摄像头
泊车辅助	PA(Parking Assist)	将车尾影像显示在车内，预测倒车轨迹，辅助驾驶员泊车	后视摄像头

分类

按通信协议区分

  1. CSI —— Camera Serial Interface，相机串行接口。CSI接口与DSI接口同属一门，都是MIPI（移动产业处理器接口联盟）制定的一种接口规范。MIPI CSI和DPI是MIPI标准的一种，因为MIPI在移动领域应用范围太广了，各种外围设备都可以用它来传输信息，所以，MIPI联盟给不同的外设接口定义了版本名，CSI是for Camera的，DPI是for Display的。而且这些标准不单包括物理层的时序定义，还包括上层的传输协议/数据处理协议和应用层协议。
  2. USB —— 成像原理依然是cmos摄像头的原理。只不过数据是通过USB发送给CPU而已
  3. IP —— IP摄像头的数据是发送到网络上用户在任意终端上只要能访问到这个网络就能查看摄像头拍摄到的图像

各种摄像头的优缺点
种类	优点	缺点
CSI	传输原始数据	1.通用性弱 2.需要额外的适配驱动程序
USB	1.通用性强 2.通常不需要安装驱动	1.传输的原始数据需要CPU处理，影响整体性能 2.同像素比CSI摄像头贵
IP	无线连接，支持多设备查看摄像头数据	对网络的依赖十分严重

按不同感光芯片

  1. CDD摄像头 —— 被摄物体的图像经过镜头聚焦至CCD芯片上，CCD根据光的强弱积累相应比例的电荷，各个像素积累的电荷在视频时序的控制下，逐点外移，经滤波、放大处理后，形成视频信号输出。视频信号连接到监视器或电视机的视频输入端便可以看到与原始图像相同的视频图像。
  2. CMOS摄像头 —— CMOS是集成在被称做金属氧化物的半导体材料上，工作原理与CDD摄像头没有本质的区别。CMOS的制程较简单，没有专属通道的设计，因此必须先行放大再整合各个像素的资料。

按像元排列方式

  1. 面阵摄像头 —— 面阵摄像头是我们常见的形式，其像元是按行列整齐排列的，每个像元对应图像上的一个像素点。通常所说的分辨率就是像元的个数。
  2. 线阵摄像头 —— 线阵摄像头是一种比较特殊的形式，其像元是一维线状排列，即只存在一行像元。每次只能采集一行的图像数据，只有当摄像头与被摄物体在纵向相对运动时我们才能看到平时看到的二维图像。

产品

单目摄像头

 单目摄像头所采集的数据为常见的一种数据 —— 照片。照片的本质是拍摄某个场景在相机的成像平面上留下的一个投影。它以二维的形式记录了三维的世界。显然，这种记录方式不全面，因为丢失了场景的一个维度，也就是所谓的深度信息或者是距离。在弹幕摄像头所采集的数据中，我们无法通过单张图片计算场景中物体与相机的之间的距离信息。在一张图片中的，一个物体的大小受限于两个因素，物体本身的大小尺寸以及物体距离相机的距离远近。照片中的物体可以是很大但很远的物体，也可以是很小但很近的物体。在图片中的尺寸所占据的成像面积或者像素点一样。因此想要恢复三维结构，我们就必须改变相机的视角。通过移动相机可以估计它的运动，同时估计场景中物体的远近和大小。
 如果我们把相机的运动和场景的大小同时放大两倍，单目相机所看到的图像是一样的。同样的，把这个大小乘以任意倍数，我们都将采集到相同的照片数据。

双目摄像头（多目摄像头）

 双目摄像头可以克服单目摄像头无法获取距离（深度信息）的问题。它的原理是通过两个单目相机之间的距离（基线）是已知的情况，通过左右单目相机所采集到的图像的差异来判断物体的远近。如果对双目相机进行拓展，我们可以搭建多目相机，但在本质上与双目相机没有什么不同。双目相机需要大量的计算才能估计每一个像素点的深度，且这个估算结果并不是十分准确。另外，双目相机测量到的深度范围与基线相关，基线距离大，能够测量到的物体就越远。根据原理我们可以得到，双目摄像头对深度信息的估计并不依赖于外界的传感设备，可运用于室内室外。
 双目或者多目摄像头的缺点是标定和配置比较复杂，其深度量程和精度受双目的基线和分辨率所限，且视差的计算非常消耗计算资源，需要使用GPU和FGPA设备加速，才能实时输出整张图像的距离信息。

RGBD摄像头

 RGBD摄像头又称深度相机，是2010年前后兴起的一种相机，它的特点是可以通过红外结构光或TOF原理测出物体与相机之间的距离。他并不像双目相机那样需要通过软件计算来解决深度信息的输出，而是通过物理测量的手段，因此可以节省大量的计算资源。现阶段RGBD相机还存在测量范围窄、噪声大、视野小、易受日光干扰、无法测量透射材质等诸多问题。