车载摄像头笔记

1 车载摄像头工作原理

step1：景物通过镜头(LENS)生成的光学图像
step2：光学图像投射到图像传感器（CIS）表面上
step3：光信号转为电信号，经过AD（模数转换）转换为数字图像信号
step4：送到数字信号处理芯片 (DSP)中加工处理
step5：通过接口传输到电脑中处理,通过显示器就可以看到图像了

景物→镜头Lens→sensor（光电转换+AD转换）→ISP（输出信号基于MIPI/CSI标准，传输距离短）→串行器 Ser（转换为串行信号，输出信号基于美信GMSL2标准，适合长距离传输）

还有一部分摄像头直接将RawData数据直接传输给主机进行识别，并没有后段显示部分。

1.1 镜头 LENS

镜头一般由多片光学镜片组成，光学镜片的材质有塑料P和玻璃G。车载镜头目前主要用玻塑混合镜头和玻璃镜头两大类型。舱内摄像头多采用玻塑混合摄像头，前视、侧视以及CMS摄像头多采用全玻璃摄像头。

通常情况下，摄像头70%的光学参数由镜头决定。

镜头SPEC解读

镜头的规格：1/3"，1/4" 指的是三分之一英寸，”指英寸符号，inch。
镜头的材质：主要是两种，一种是玻璃，一种是塑胶。

• 玻璃镜片：以G为缩写，面型多为球面，玻璃研磨加工；
• 塑胶镜片：以P为缩写，面型多为非球面，注塑加工。

例如：2G2P、2G3P、6G…数字代表镜片数量，G代表玻璃材质Glass，效果很好，价格较高，P代表塑料材质Plastic，效果一般，价格便宜。3G要比3P好，3G2P要比2G2P好。镜片越多，成像效果会更出色，成本也会越高。因此一个品质好的摄像头应该是采用多层玻璃镜头。现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等）。

1.2 图像传感器 CIS（CMOS Image Sensor）

利用光电转换元件将镜头投射到CIS表面上的光信号转换为电信号，经过AD（模数转换）再转换为数字图像信号。

1.3 图像信号处理器 ISP （Image Signal Processing）

ISP主要是处理图像传感器CIS输出的RAW格式数据，主要处理功能包括图像缩放、自动曝光AE、自动白平衡AWB、自动对焦AF、图像去噪等，最终转换成RGB、YUV等格式数据。

摄像头模组内部的ISP存在两种形式：
①内置在CMOS内部；
②独立的芯片构成。

此处查看：焉知产研 | 车载摄像头产业分析报告

1.4 串行器 Ser（Serializer 串行器/Deserializer 解串器）

将并行信号转换为串行信号。
通常经过图像传感器CMOS或图像处理器ISP处理后输出的信号是基于MIPI/CSI标准，传输距离较短，因此需要转换成适合长距离传输的串行信号。目前串行器常用的是美信的GMSL2标注和TI的FPD-Link标准。

2 光学参数

2.1 有效焦距 EFL（Effective Focal Length）

有效焦距EFL是指镜头中心到焦点的距离。

注意事项：
（1）焦距过短则视场角过大，导致畸变和主光线出射角难以控制，相对照度过低，
镜片弯曲严重，相差校正困难，因此难以设计。

（2）焦距过长镜头将过长，不利于系统小型化，而且视场角过小，不能满足用户
需求（FOV>60°）

焦距的分类：

• 像方焦距：像方主面（后主面）到像方焦点（后焦点）的距离。
• 物方焦距：物方主面（前主面）到物方焦点（前焦点）的距离。
• 光学后焦距 BFL（Back Focal Length）：由光学系统中镜片的最后一面到像面的距离。
• 光学前焦距 FFL（Front Focal Length）：由光学系统中镜片的第一面到物面的距离。
  注意事项：要与机构后焦距FFL区分
  

2.2 镜头总长 TTL（Total Track Length）

镜头总长分为光学总长和机构总长。
光学总长：指由镜头中镜片的第一面到像面的距离。
机构后焦（又称法兰焦距）FBL/FFL（Flange Focal Length）：是由镜组的最后一个机构面到像面的距离。

2.3 视场角 FOV（Field Of View）

视场角指镜头能拍摄到的最大视场范围。
分类：

• 对角线视场角 DFOV，最大
• 水平视场角 HFOV，第二大
• 垂直视场角 VFOV，最小
  通常我们所讲的视场角一般是指HFOV，除非客户另有规定。
  

2.4 光圈（也称焦数，相对孔径）F/NO.（F-Number）

定义：有效焦距 EFL 与入射瞳孔径 EPD 的比值。

F/#=EFL/EPD (EPD:入射瞳孔径)

作用：用来决定镜头之明暗，描述光学镜头收光能力的强弱。

注释：该数值越小，表示收光能力越强，反之，越弱。

在保证同样通光孔径的前提下，焦距越短相对孔径应越小。

2.5 畸变 Distortion

定义：指像面的变形程度。

畸变是轴外相差，而且是轴外细光束的像差。

畸变是轴外点与主光线在像面上交点的高度同理想（近轴）像面的高度差。

畸变是视场的函数，与孔径没有关系，初级畸变随视场（像高）的三次方变化，而百分比畸变随像高平方增加，所以视场不同畸变也不同。

畸变的变化不是线性的，仅是像的变形，不影响像的清晰度。

畸变的分类：

• TV畸变（TV-Distortion）
• 光学畸变（Optical-Distortion）

两种畸变计算方法的结果相差两倍，务必确认计算方法一致。

注意事项：

畸变是用户很容易感觉到的成像质量。

畸变是用户要求很严的镜头指标，

Optical-Distortion<3% 人眼不容易察觉

Optical-Distortion<2% 摄影物镜的畸变要求

2.6 相对照度 RI（Relative illumination）

定义：物体或被照面上被光源照射所呈现的光亮程度称为照度。

相对照度则是中心照度与外围照度的比值。

注意事项：
相对照度过低表现为图像中心较亮，而四周较暗，即渐 晕现象，俗称暗角（Shading）。相对照度过低还会导致色彩失真。

相对照度是表现整体画面的亮度均匀性的指标。

2.7 暗角 Dark-corner

定义：对着亮度均匀的景物，成像画面的四周出现变暗的现象。

2.8 主光线角度 CRA（ChiefRay Angle）

定义：主光线角度为主光线与平行光线的角度。

主光线就是光线由物体的边缘出射，通过孔径光阑的中心最后到达像的边缘。

注意事项：主光线出射角度不合适会暗角严重，对比度下降，偏色。

2.9 光学调制传递函数 MTF（Modulation TransferFunction）

定义：描述镜头的分辨能力。

数值上为像的对比度与物的对比度的比值。
（光的最亮度减去光的最暗度）与（光的最亮度加上光的最暗度）的比值,得出来的结果M就是光的对比度。

Modulation(M)=(Imax-Imin)/(Imax+Imin)
I：Intensity 光强度
Imax： 最亮之光强度
Imin：最暗之光强度

2.10 解像力（分辨率）

定义：每1mm可解析的线对（line-pair）。单位为本（lp/mm）

2.11 TV-Line 扫描线

定义：在画面水平影像中可解析多少条线，可由解像力来换算：

TV-Line=lp/mm x 2 x Sensor宽。

2.12 杂散光/鬼影 Flare/Ghost

定义：指在一个光学系统里由于光在像面上随意的散射形成的相反的缩影或雾状像，也就是光学系统中的非成像光束。

镜头表面的散射光、元件中的气泡、镜框及镜筒内壁的散射和反射光以及其它非成像光束入射到像面上的光都成为杂光。

它的直接影响是形成噪音，使图像的信噪比降低，甚至使信号光淹没在噪声中。

杂光的消除：在结构中增加遮光罩、辅助光阑、镜片边缘染黑、镜座发黑或贴消光布，
以及镀制减反膜等。

2.13 景深

定义：指镜头对一定距离的物体进行拍摄时，能够清晰成像的所拍摄物体的前后距离范围。

物体成像时，其在焦点平面上形成一个像点，并在前后弥散圆直径范围内均可清晰成像。

处于景深范围内的物体由于其成像位置也处于弥散圆直径以内，所以也能清晰成像。

2.14 标准清晰度 SD（Standard Definition）

定义：物理分辨率小于720p的视频规格

2.15 高清晰度 HD（High Definition）

定义：物理分辨率等于或大于720的视频规格

2.16 帧率 Frame Rate

定义：
是指单位时间产生完整图像的画面数，即单位时对视频信号空间行的全部扫描数，单位为帧/秒。

2.17 有效像素 Effective pixel

定义：
电子影像传感器中上能进行有效光电转换并输出影像信号的像素。

2.18 信噪比 SNR（Signal Noise Ratio）

定义：
视频信号的大小与噪声信号（无用信号）大小的比例，以dB为单位。

2.19 灰阶 Gray Scale

定义：
灰阶，是将最亮与最暗之间的亮度变化，区分为若干份。色深与灰阶关系为：灰阶=2^色深位数。从下图可以看出，灰阶级数越多，色彩过渡越平滑。换言之，屏幕色深位数越高，显示画面的色彩变化越平滑。当屏幕色深过低，灰阶不足，在某些场景下便会出现颜色断层。

通常用拍摄灰阶测试图卡来测试。

2.20 动态范围 Dynamic Range

定义：摄像设备能够记录的从最黑到最白之间的最大影调范围。

动态范围越大说明拍摄的影像层次越分明。

所有超出动态范围之外的曝光值都只能记录为黑或白。

它实际上描述了摄像设备记录影像灰阶等级的能力，可用灰阶测试图卡的灰阶级数表达。

2.21 光轴中心精度 OC（Optical Axis Center Precision）

定义：摄像设备的实际成像中心与光学成像理论中心的偏差

2.22 自动增益控制 Automatic Gain Control

定义：放大电路的增益自动地随信号强度而调整的自动控制方法

2.23 白平衡 White Balance

定义：
照相摄像设备对于不同光源照明条件下的拍摄物体所得到的影像还原，
应具有与人眼在相同照明条件下观察被拍摄物体相符合的色彩再现。

3 pitch、yaw、roll角

此处查看：「 机器人学 」“姿态角 roll、yaw、pitch”讲解 by Robot_Starscream

4 术语

DMS（Driver Monitoring System） 驾驶员监控系统
OMS（Occupancy Monitoring System）乘客监控系统
HUD（Head-Up Display）抬头显示
CDC（Cockpit Domain Controller）座舱域控制器
FVC（ Front View Camera）前视摄像头
SVC（Side View Camera）周视摄像头
RVC（Rear View Camera）后视摄像头
AVM（Around View Monitor）全景环视系统
CMS（Camera monitor system）电子外后视镜
DVR（Driving Video Record）行车记录仪
TOF（TIme of Flight）深度感知模组
ADAS（Advanced Driving Assistance System）高级驾驶辅助系统

5 防护等级

此处查看：IP防水防尘等级基础知识 by 锦鲤少年丶 

6 功能安全

此处查看：ASIL-汽车安全完整性等级 by Allen Roson

7 RGB-IR技术

此处查看：RGB-IR技术 by free-xx