4万字一文带你看懂车载摄像头技术、市场、发展前景

1、小孔成像

在战国初期，我国学者墨子（公元前468年-公元前376年）和弟子们完成了世界上第一个小孔成像的实验，并记录在《墨经》中：“景到，在午有端，与景长。说在端。”“景。光之人，煦若射，下者之人也高；高者之人也下。足蔽下光，故成景于上；首蔽上光，故成景于下。在远近有端，与于光，故景库内也。”

此文解释了小孔成倒像的原因，指出了光沿直线传播的性质。这是对光直线传播的第一次科学解释。

而西方世界直到公元前350年，古希腊学者亚里士多德提出光学法则，西方人从此了解小孔成像的光学原理。

2、暗箱写生

十五世纪末期，人们根据小孔成像原理制作了暗箱（Camera Obscure），这实质上是相机的雏形。意大利人达文西在著作中记述了这种暗箱，描述人们利用该工具写生和绘画。

1553年，意大利人玻尔塔发表了《自然魔术》一书中详尽介绍暗箱的使用，利用这种工具，只要用铅笔将影像反射在画纸的，描绘出轮廓，再着色即可完成一幅很有真实感的完全符合真实比例的画像。

3、银版照相

1822年，法国的涅普斯在感光材料上制出了世界上第一张照片，但成像不太清晰，而且需要8个小时的曝光。1826年，他又在涂有感光性沥青的锡基底版上，通过暗箱拍摄了现存最早的一张照片。

1838年，法国物理学家达盖尔发明盖尔的银版照相法，是利用镀有碘化银的钢板在暗箱里曝光，然后以水银蒸汽显影，再以普通食盐定影。此法得到的实际上是一个金属负像，但十分清晰而且可以永久保存。随后，达盖尔根据此方法制成了世界上第一台照相机，曝光时间需要20~30分钟。

1839年8月19日，法国政府宣布放弃对银版摄影术这项发明的专利，并公之于众。人们通常以这一天作为摄影术的开端。

4、胶卷相机&数码相机

1866年德国化学家肖特与光学家阿具在蔡司公司发明了钡冕光学玻璃，产生了正光摄影镜头，使摄影镜头的设计制造，得到迅速发展。

随着感光材料的发展，1871年，出现了用溴化银感光材料涂制的干版，1884年，又出现了用硝酸纤维做基片的胶卷。

1888年美国柯达公司生产出了新型感光材料——一种柔软、可卷绕的“胶卷”。这是感光材料的一个飞跃。同年，柯达公司发明了世界上第一台安装胶卷的可携式方箱照相机。Kodak No.1就是柯达公司推出家用相机，其宣传口号便是“按下快门，剩下的由我完成”，这台相机可说是消费型相机的始祖。

1969年，CCD芯片作为相机感光材料在美国的阿波罗登月飞船上搭载的照相机中得到应用，为照相感光材料电子化，打下技术基础。

1981年，索尼公司经过多年研究，生产出了世界第一款采用CCD电子传感器做感光材料的摄像机，为电子传感器替代胶片打下基础。紧跟其后，松下、Copal、富士、以及美国、欧洲的一些电子芯片制造商都投入了CCD芯片的技术研发，为数码相机的发展打下技术基础。

1987年，采用CMOS芯片做感光材料的相机在卡西欧公司诞生。

回顾一下摄像头发展历程：

5、摄像头模组内部结构及工作机理讲解：

镜头：聚集光线，把景物投射到成像介质表面，有的是单镜头，有的成像效果要好，需要多层玻璃的镜头。

滤色片：人眼看到的景物是可见光波段，而图像传感器可辨识的光波段多大于人眼，因此增加了滤色片将多余的光波段过滤掉，使图像传感器能拍摄多人眼所见到的实际景物。 

图像COMS传感芯片：即成像介质，将镜头投射到表面的图像（光信号）转换为电信号。

线路板基板：将图像传感器的电信号传输到后端，针对车载摄像头这里的线路基板会更多一些电路，需要把并行的摄像头信号转为串行传输，这样抗干扰能力更强一些。

摄像头模组的工作原理就是镜头把光线聚拢，然后通过IR滤光片把不需要的红外光滤掉，此时模拟信号进入到传感器COMS芯片，通过AD数字输出，这里有的是会放置ISP图像处理芯片在摄像头这边，把处理后的信号传输给到主机，有的是不放置ISP芯片，由主机那边的内置ISP芯片进行图像处理，这样摄像头端的散热会好很多，辐射也小。

6、车载摄像头架构：

车载摄像头的结构如上图所示，放置车身外面的，就需要组成完整的摄像头，如果是在车内DVR，不用考虑防水，就可以组装成上面的那种摄像头模组。

上图是我们比较常见的汽车上使用的相机模组的解剖。除了最外侧的铝壳以及密封圈和镜头之外，其实中间就是比较简单的几层板的设计，通常包括传感器的sensor板，图像处理器的小板，还包括一个串行器的板。为什么需要串行器，是因为通常相机传感器或ISP的图像数据输出总线是MIPI CSI标准，其特点是高速穿行，但是传输总线距离较短，否则无法保证信号的完整性。

所以在车辆上，我们需要将其转换成例如GMSL等适合在车上长距离传输的高速总线标准进行传输，所以相机模组内部通常会通过串行板进行总线的转换。另外同轴电缆既可以用来为模组提供电源，也可以传输图像数据。

7、图像传感器CCD和COMS区别：

CCD（Charge Coupled Device ）感光耦合组件 CCD主要材质为硅晶半导体，基本原理类似 CASIO 计算器上的太阳能电池，透过光电效应，由感光组件表面感应来源光线，从而转换成储存电荷的能力。简单的说，当 CCD 表面接受到快门开启，镜头进来的光线照射时，即会将光线的能量转换成电荷，光线越强、电荷也就越多，这些电荷就成为判断光线强弱大小的依据。CCD 组件上安排有信道线路，将这些电荷传输至放大解码原件，就能还原所有CCD上感光组件产生的信号，并构成了一幅完整的画面。

 CMOS（Complementary Metal-Oxide Semiconductor）互补性氧化金属半导体 CMOS的材质主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。

CMOS与CCD最大的差别是：放大器位置和数量 比较 CCD 和 CMOS 的结构，放大器的位置和数量是最大的不同之处。 

CCD 每曝光一次，自快门关闭或是内部频率自动断线（电子快门）后，即进行像素转移处理，将每一行中每一个像素（pixel）的电荷信号依序传入“缓冲器”（电荷储存器）中，由底端的线路导引输出至 CCD旁的放大器进行放大，再串联 ADC（模拟数字数据转换器） 输出。

CMOS 的设计中每个像素旁就直接连着“放大器”，光电信号可直接放大再经由 BUS 通路移动至 ADC 中转换成数字数据。由于构造上的差异，CCD与CMOS在性能上的表现之不同。CCD的特色在于充分保持信号在传输时不失真（专属通道设计），透过每一个像素集合至单一放大器上再做统一处理，可以保持数据的完整性。而CMOS的制程较简单，没有专属通道的设计，因此必须先行放大再整合各个像素的数据。

1.灵敏度差异：由于 CMOS 每个像素包含了放大器与A/D转换电路，过多的额外设备压缩单一像素的感光区域的表面积，因此在 相同像素下，同样大小之感光器尺寸，CMOS的感亮度会低于CCD。 

2.分辨率差异：在第一点“感亮度差异”中，由于 CMOS 每个像素的结构比CCD复杂，其感光开口不及CCD大，相对比较相同尺寸的CCD与CMOS感光器时，CCD感光器的分辨率通常会优于CMOS。不过，如果跳出尺寸限制，目前业界的CMOS 感光原件已经可达到1400万像素/全画幅的设计，CMOS 技术在亮率上的优势可以克服大尺寸感光原件制造上的困难，特别是全画幅24mm-by-36mm 这样的大小。

3.噪声差异：由于CMOS每个感光二极管旁都搭配一个ADC放大器，如果以百万像素计算，那么就需要百万个以上的ADC放大器，虽然是统一制造下的产品，但是每个放大器或多或少都有些微的差异存在，很难达到放大同步的效果，对比单一个放大器的CCD，CMOS最终计算出的噪声就比较多。 

4.耗电量差异：CMOS的影像电荷驱动方式为主动式，感光二极管所产生的电荷会直接由旁边的晶体管做放大输出；但CCD却为被动式，必须外加电压让每个像素中的电荷移动至传输通道。而这外加电压通常需要12伏特（V）以上的水平，因此CCD还必须要有更精密的电源线路设计和耐压强度，高驱动电压使CCD的电量远高于CMOS。

5.成本差异：CMOS 应用半导体工业常用的CMOS制程，可以一次整合全部周边设施于单芯片中，节省加工芯片所需负担的成本和良率的损失；相对地 CCD 采用电荷传递的方式输出信息，必须另辟传输信道，如果信道中有一个像素故障（Fail），就会导致一整排的信号壅塞，无法传递，因此CCD的良率比CMOS低，加上另辟传输通道和外加 ADC 等周边，CCD的制造成本相对高于CMOS。 

6.其他差异：IPA（Indiviual Pixel Addressing）常被使用在数字变焦放大之中，CMOS 必须依赖x，y画面定位放大处理，否则由于个别像素放大器之误差，容易产生画面不平整的问题。在生产制造设备上，CCD必须特别订制的设备机台才能制造，也因此生产高像素的CCD 组件产生不出日本和美国，CMOS 的生产使用一般的内存或处理器设备机台即可承担。综上所述，CCD与CMOS的特点决定了CMOS更适用于手机这类便携设备中使用，车载摄像头也是使用COMS的传感器，而CCD则更适用于单反相机这类专业设备上使用。

8、CMOS传感器的构成与关键参数 

图像传感器的功能是光电转换。关键的参数有像素、单像素尺寸、芯片尺寸、功耗。技术工艺上有前照式（FSI）、背照式（BSI）、堆栈式（Stack）等。以下简单介绍。

图像传感器从外观看分感光区域（Pixel Array），绑线Pad，内层电路和基板。感光区域是单像素阵列，由多个单像素点组成。每个像素获取的光信号汇集在一起时组成完整的画面。 

CMOS芯片由微透镜层、滤色片层、线路层、感光元件层、基板层组成。 

CMOS芯片剖面图

由于光线进入各个单像素的角度不一样，因此在每个单像素上表面增加了一个微透镜修正光线角度，使光线垂直进入感光元件表面。这就是芯片CRA的概念，需要与镜头的CRA保持在一点的偏差范围内。

电路架构上，我们加入图像传感器是一个把光信号转为电信号的暗盒，那么暗盒外部通常包含有电源、数据、时钟、通讯、控制和同步等几部分电路。可以简单理解为感光区域（Pixel Array）将光信号转换为电信号后，由暗盒中的逻辑电路将电信号进行处理和一定的编码后通过数据接口将电信号输出。

9、图像传感器关键参数

1.像素：指感光区域内单像素点的数量，比如5Maga pixel，8M，13M，16M，20M，像素越多，拍摄画面幅面就越大，可拍摄的画面的细节就越多。

2.芯片尺寸：指感光区域对角线距离，通常以英制单位表示，比如1/4inch，1/3inch，1/2.3inch等。芯片尺寸越大，材料成本越高。

3.单像素尺寸：指单个感光元件的长宽尺寸，也称单像素的开口尺寸，比如1.12微米，1.34微米，1.5微米等。开口尺寸越大，单位时间内进入的光能量就越大，芯片整体性能就相对较高，最终拍摄画面的整体画质相对较优秀。单像素尺寸是图像传感器一个相当关键的参数。 

前照式（FSI）与背照式（BSI）

传统的CMOS图像传感器是前照式结构的，自上而下分别是透镜层、滤色片层、线路层、感光元件层。采取这个结构时，光线到达感光元件层时必须经过线路层的开口，这里易造成光线损失。

而背照式把感光元件层换到线路层的上面，感光层只保留了感光元件的部分逻辑电路，这样使光线更加直接的进入感光元件层，减少了光线损失，比如光线反射等。因此在同一单位时间内，单像素能获取的光能量更大，对画质有明显的提升。不过该结构的芯片生产工艺难度加大，良率下降，成本相对高一点。

堆栈式（Stack） 

 堆栈式是在背照式上的一种改良，是将所有的线路层挪到感光元件的底层，使开口面积得以最大化，同时缩小了芯片的整体面积。对产品小型化有帮助。另外，感光元件周边的逻辑电路移到底部之后，理论上看逻辑电路对感光元件产生的效果影响就更小，电路噪声抑制得以优化，整体效果应该更优。业内的朋友应该了解相同像素的堆栈式芯片的物理尺寸是比背照式芯片的要小的。

但堆栈式的生产工艺更大，良率更低，成本更高。索尼的IMX214（堆栈式）和IMX135（背照式）或许很能说明上述问题。

10、图像传感器之ISOCELL技术分析

图像传感器好坏取决于单像素有效进光量

前一章我们谈到，图像处理器最为关键的参数是单像素尺寸，单像素尺寸越大则进光量越大，图像质量越优秀。因此我们可以简单的认为：决定图像传感器性能的最大的因素是单像素点的有效进光量，它决定每个像素点在单位时间内能捕获多少光线能量。假如单像素面积越大，则在相同时间里可以承载更多光线能量，便可以更明显的提升画质，更真实的还原图像场景。 

数码相机和手机所采用的图像传感器单像素尺寸是不一样的，数码相机的更大，英寸拍摄效果更加出色。但单像素尺寸增大，相同像素的图像传感器面积则大幅增加，摄像头模组体积增大，模组高度增加，功耗大幅增加，发热量增加等，这样的变化在数码相机固然还可以接受，但放在追求便携的手机上面，无疑是不太合适的。

 以HTC ONE为例，采用了单像素尺寸2微米的图像传感器，换来相当棒的画质效果，夜景拍摄尤为出色。但正因为单像素尺寸增加之后，手机摄像头受限于体积增加、发热量增加等因素迫不得已只能做到400万像素，令人难以接受。而苹果iPhone比较折中的选择了1.5微米单像素尺寸，虽然比较折中，但其只有800万的像素令人诟病。而在新一代iPhone6时为确保较好的拍摄效果继续选择1.5微米芯片，换来了前所未有的结构和外观牺牲，突出的摄像头设计堪称史上最丑苹果摄像头！除了增大单像素尺寸可以增加进光量之外，就没有别的方法了吗？

其实不然，ISOCELL技术在相同的像素尺寸情况下可做到优化，可有效提升进光量

ISOCELL技术解决什么问题 

据三星公司发布的信息看，ISOCELL技术要解决的第一个问题就是增大单个像素的收缩能力，通过对成像动态范围的对比，改善光线强度最轻和最暗部分的图像质量。第二个问题就是随着像素变得越来越小，会发生彼此之间抗干扰能力的减弱，造成错误的感应光源颜色和数量，这个现象被称为串扰。光电二极管的微小探测器会将光能部分转化成为细微的电流，而这些电流有时会出现在不该出现的地方，造成对图像的影响。

发生串扰的原因有很多，而其中最大的可能性是光串扰。当一个像素接收到更多的光线，超过了自己的承受范围，那么电子就会发生串扰，而这完全是建立在错误的光二极管在信号传输过程中的电流漏出。

比如单像素在捕获绿色光线时，一些光子很有可能泄露成蓝色或红色，导致在即使没有蓝色和红色的场景下出现电流，这样就会在原始图像上形成轻微的变形，从而产生噪点。这类问题虽然是不可避免的，但是通过ISOCELL技术可以尽量减小影响。

ISOCELL技术原理 ISOCELL

ISOCELL本质上是在现有BSI技术上的一种进化，可以解决上面提到的串流问题。简单地说，便是通过在形成隔离像素与相邻像素之间形成物理屏障，缩小它们的间隔区，避免BSI传感器中单个像素间形成的干扰问题，让像素能够获得吸收更多光子，获得更好的照片效果。 

从官方数据来看，ISOCELL相比BSI能够将每种颜色的像素孤立起来，提高传感器捕光能力，可以预计减少30%的像素串扰。但是这并不意味着最终的成像质量同样会提高30%，但是却可以更好的提升清晰度和色彩表现，让图像看起来更丰富。三星搭载了ISOCELL技术的图像传感器，画质和色彩表现有目共睹。

11、摄像头工作原理

摄像头对于模组工程是那么的熟悉，有多少人又真正了解摄像头从硬件到软件的工作流程。我们了解摄像头的工作原理，对于开展工作，辅助的解决遇到的一些问题，很有帮助。下面我们析摄像头从寄存器角度是怎么工作的。如何阅读摄像头规格书（针对驱动调节时用到关键参数，以格科GT2005为例）。

每个摄像头的sensor都有Datasheet规格书，也就是一个器件所有的说明，精确到器件每一个细节，软件关心的寄存器、硬件关心的电气特性、封装等等。

camera的总体示意图如下：控制部分为摄像头上电、IIC控制接口，数据输出为摄像头拍摄的图传到主控芯片，所有要有data、行场同步和时钟号。GT2005/GT2015是CMOS接口的图像传感器芯片，可以感知外部的视觉信号并将其转换为数字信号并输出。

我们需要通过MCLK给摄像头提供时钟，RESET是复位线，PWDN在摄像头工作时应该始终为低。PCLK是像素时钟，HREF是行参考信号，VSYNC是场同步信号。一旦给摄像头提供了时钟，并且复位摄像头，摄像头就开始工作了，通过HREF，VSYNC和PCLK同步传输数字图像信号。数据是通过D0~D7这八根数据线并行送出的。

（1）、Pixel Array

GT2005阵列大小为 1268 列、1248 行,有效像素为 1616 列, 1216 行。也就是说摄像头为1600X1200的时候，像素点要多于这个，去除边缘一部分，保证图像质量吧。

（2）IIC 这个不用说了，摄像头寄存器初始化的数据都从这里传输的，所有的IIC器件都一样的工作，来张图吧，后面做详细分析；

下面这一部分在调试驱动的过程中比较重要了：

（3）MCLK

电子元件工作都得要个时钟吧，摄像头要工作，这个就是我们所要的时钟，在主控制芯片提供，这个时钟一定要有，要不然摄像头不会工作的。

（4）上下电时序，这个要接规格书上来，注间PWDN、RESETB这两个脚，不同的摄像头不太一样，这个图是上电时序，上电时参考一下，知道在那里看就行；

（5）PCLK \D1~D7

摄像头得到的数据要传出来吧，要有数据，当然数据出来要有时钟和同步信号了，看下它的时序，和LCD显示的时序一样，道理是一样的：

（6）主要的寄存器：分辨率、YUV顺序、X轴、Y轴镜相、翻转以上工作完成后，也许还有一些问题，分辨率太小； YUV顺序不对图像不对； XY图像方向。这些工作完成后，如果还有什么细节的问题，如果你想花时间，看规格书里面的寄存器可以解决的，如果不想看，找模组厂的FAE，他们专业的，很快会帮你搞定。

（7）、摄像头的硬件接口

12、摄像头镜头

一个摄像头效果好不好，70%的光学参数是由镜头决定的，虽然从单价上来说没有COMS芯片贵，但是性能上是非常重要的。

针对镜头相关的参数讲解一波，这个其实对于买手机，买单反的同学来说还是非常有用的。

我们这里以一款车载DVR的隐藏式宽FOV角度的镜头为例子。