Camera摄像头模组硬件

摄像头模组，全称CameraCompact Module，简写为CCM。CCM 包含四大件： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯片（DSP）。决定一个摄像头好坏的重要部件是：镜头（lens）、图像处理芯片 （DSP）、传感器（sensor）。CCM的关键技术为：光学设计技术、非球面镜制作技术、光学镀膜技术。

工作原理：物体通过镜头（lens）聚集的光,通过CMOS或CCD集成电路，把光信号转换成电信号，再经过内部图像处理器（ISP）转换成数字图像信号输出到数字信号处理器（DSP）加工处理，转换成标准的GRB、YUV等格式图像信号。

2. 硬件组成

2.1 Lens（镜头）

​ Lens是一个能够接收光信号并汇聚光信号于感光器件CMOS/CCD的装置。Lens决定sensor的采光率，其整体效果相对于一个凸透镜。

​ 一般camera的镜头结构是由几片透镜组成，分有塑胶透镜（PLASTIC)和玻璃透镜(GLASS)，通常CAMERA用的镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G,8P等。

透镜越多，成本越高；玻璃透镜比塑胶透镜贵，但是玻璃透镜的成像效果比塑胶透镜的成像效果要好。目前市场上针对mobile phone配置的camera以1G3P（1片玻璃透镜和3片塑胶透镜组成）为主，目的是降低成本。
2.1.1 Lens主要指标

A、消除尽可能多Flare

B、画质清晰度

C、CRA(Chief Ray Angle主光线角度)要match，减少shading(Lens cra < Sensor CRA, 相差最好在2度以内)

D、光圈尽可能的大

E、Distortion 尽可能的轻微等

2.1.2 Lens主要参数

（1）焦距：镜头焦距的长短决定着拍摄的成像大小，视场角大小，景深大小和画面的透视强弱。一般来说对于单片镜头就是镜头中心到焦点的距离，而相机镜头是由多片透镜组合，就要复杂许多。这里焦距就指的是从镜头的中心点到感光元器件（CCD）上所形成的清晰影像之间的距离。

（2）视场角：我们常用水平视场角来反映画面的拍摄范围。焦距f越大，视场角越小，在感光元件上形成的画面范围越小；反之，焦距f越小，视场角越大，在感光元件上形成的画面范围越大。

（3）F值（口径比）：F 值即指镜头之明亮度(即镜头的透光量)。F=镜头焦距/光圈直径。F值相同,长焦距镜头的口径要比短焦距镜头口径大。

（4）光圈：光圈是位于镜头内部的、可以调节的光学机械性阑孔，可用来控制通过镜头的光线的多少。可变光圈(Iris diaphragm)。镜头内部用来控制阑孔大小的机械装置。或指用来打开或关闭镜头阑孔，从而调节镜头的f-stop的 装置。

（5）景深：当某一物体聚焦清晰时，从该物体前面的某一段距离到其后面的某一段距离内的所有景物也都相当于是清晰的。焦点相当清晰的这段从前到后的距离就叫做景深。

2.2 VCM（Voice Coil Motor）音圈马达

​ 全称Voice Coil Montor，电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动上下运动。手机摄像头广泛的使用VCM实现自动对焦功能，通过VCM可以调节镜头的位置，呈现清晰的图像。
2.2.1 VCM性能指标

​ VCM的性能主要是看电流和行程距离的比值。从启动电流开始，电流上升要和所能驱动的行程距离成比例，所需要上升电流越小，精度越高，同时还看最大耗电量，最大功率，尺寸大小。
2.2.2 VCM分类

从结构上大致可分三类： （1）弹片式结构 ；（2）滚珠式结构； （3）摩擦式结构。

从功能上大致分为五类： （1）Open loop开马达; （2）Close loop闭环马达 ；（3）Alternate中置马达 ；（4）OIS光学防抖马达（分平移式、移轴式、记忆金属式等）；（5） OIS+Close loop六轴马达 。
2.2.3 AF原理

​ 进入自动调焦模式后，Driver从0到最大值，使得镜头从原地移动到最大位移处，此时sensor成像面自动拍摄图片并保存到DSP内，DSP通过这些图片，计算每一副图片的MTF（Modulation transfer function）值，从而在这条MTF曲线中找到最大值，并通过算法，得到这个点对应的电流大小，再一次指示Driver提供给音圈这个电流，而使镜头稳定在这个成像面，使得达到自动变焦。

2.2.4 变焦和对焦

A:实现光学变焦采用变焦马达（ZOOM）

通过移动镜头内部的镜片来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影响的放大与缩小。

B:实现自动对焦采用对焦马达（AF）

过微距离移动整个镜头(而不是镜头内的镜片)的位置,控制镜头焦距的长短,而实现影像 的清晰.手机中常用的方法。

光学对焦和光学变焦是不同的概念:

光学变焦是通过移动镜头内部镜片的相对位置来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影像的放大与缩小；

光学对焦是实际上是调整整个镜头的位置(而不是镜头内的镜片)的位置，来控制像距，从而使成像最清晰。

2.3 IR-CUT

​ 自然界存在着各种波长的光线，人眼识别光线的波长范围在320nm-760nm之间， 超过320nm-760nm的光线人眼就无法见到；而摄像机的成像元器件CCD或CMOS可以看到绝大部分波长的光线。由于各种光线的参与，摄像机所还原出的颜色与肉眼所见在色彩上存在偏差。如绿色植物变得灰白，红色图画变成浅红色，黑色变成紫色等。在夜间由于双峰滤光片的过滤作用，使CCD不能充分利用所有光线，不产生雪花噪点现象及其低照性能难以令人满意。为了解决这个问题，就使用IR-CUT双滤镜。

​ IR-CUT双滤镜是指在摄像头镜头组里内置了一组滤镜，当镜头外的红外感应点侦测到光线的强弱变化后，内置的IR-CUT自动切换滤镜能够根据外部光线的强弱随之自动切换，使图像达到最佳效果。也就是说，在白天或黑夜下，双滤光片能够自动切换滤镜，因此不论是在白天还是黑夜下，都能得到最佳成像效果。

2.3.1 IR-CUT 组成及原理

​ IR CUT双滤光片切换器由一个红外截止低通滤光片（一片红外截止或吸收滤光片）、一个全光谱光学玻璃（一片全透光谱滤光片）、动力机构（可以是电磁、电机或其他动力源）以及外壳组成，它通过一块电路控制板来进行切换、定位。当白天的光线充分时，电路控制板驱使切换器切换并定位到红外截止滤光片工作，CCD或CMOS还原出真实色彩；当夜间可见光不足时，红外截止滤光片自动移开，全光谱光学玻璃开始工作，这时，它能感应红外灯的红外光，使CCD或CMOS充分利用到所有光线，从而大大提高了红外摄像机的夜视性能，整个画面也就清晰自然了。

2.3.2 IR-CUT指标

a、滤光片的红外线截止程度，透光率，和光整形效果等。

b、动力驱动部分

c、控制电路

4、滤光片：一般用镀膜(IR Coating)的方法或蓝玻璃来滤除红外光。

2.4 Sensor

​ Image sensor（图像传感器）是一种半导体芯片，其表面有几百万到几千万个光电二极管，光电二极管受到光照就会产生电荷，将光线转换成电信号。其功能类似于人的眼睛，因此sensor性能的好坏将直接影响到camera的性能。

2.4.1 Sensor结构

2.4.2分类

感光原件：CCD、CMOS(PPS和APS)

不同工艺：前照式FSI、背照式BSI、堆栈式
2.4.3 指标

1.像素

​ 传感器上有许多感光单元，它们可以将光线转换成电荷，从而形成对应于景物的电子图像。而在传感器中，每一个感光单元对应一个像素（Pixels），像素越多，代表着它能够感测到更多的物体细节，从而图像就越清晰，像素越高，意味着成像效果越清晰。摄像机分辨率的乘积就是像素值，例如：1280×960=1228800

2.靶面尺寸

​ 图像传感器感光部分的大小，一般用英寸来表示。和电视机一样，通常这个数据指的是这个图像传感器的对角线长度，如 常见的有1/3英寸，靶面越大，意味着通光量越好，而靶面越小则比较容易获得更大的景深。

3.感光度

​ 即是通过CCD或CMOS以及相关的电子线路感应入射光线的强弱。感光度越高，感光面对光的敏感度就越强，快门速度就越高，这在拍摄运动车辆，夜间监控的时候尤其显得重要。

4.电子快门

​ 是比照照相机的机械快门功能提出的一个术语。其控制图像传感器的感光时间，由于图像传感器的感光值就是信号电荷的积累，感光越长，信号电荷积累时间也越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，适合在强光下拍摄。

5.帧率

​ 既指单位时间所记录或者播放的图片的数量。连续播放一系列图片就会产生动画效果，根据人类的视觉系统，当图片的播放速度大于15幅/秒（即15帧）的时候， 人眼就基本看不出来图片的跳跃；在达到24幅/s——30幅/s（即24帧到30帧）之间时就已经基本觉察不到闪烁现象了。

​ 每秒的帧数（fps）或者说帧率表示图形传感器在处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的视觉体验。

6.信噪比

​ 是信号电压对于噪声电压的比值，信噪比的单位用dB来表示。一般摄像机给出的信噪比值均是AGC（自动增益控制）关闭时的值，因为当AGC接通时，会对小信号进行提升，使得噪声电平也相应提高。

​ 信噪比的典型值为45——55dB，若为50dB，则图像有少量噪声，但图像质量良好；若为60dB，则图像质量优良，不出现噪声，信噪比越大说明对噪声的控制越好。这个参数关系的图像中噪点的数量，信噪比越高，给人感觉画面越干净，夜视的画面中点状的噪点就越少。

2.4 ISP

2.4.1 RAW DATA数据

Sensor 将从 lens 上传导过来的光线转换为电信号， 再通过内部的 AD 转换为数字信号。 由于 Sensor 的每个 pixel 只能感光 R 光或者 B 光或者 G 光， 因此每个像素此时存贮的是单色的， 我们称之为 RAW DATA 数据。 要想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。

2.4.2 ISP 处理

ISP（图像信号处理） 主要完成数字图像的处理工作，把 sensor 采集到的原始数据转换为算法支持的格式。

具体的流程：
1、外部光线穿过 lens 后， 经过 color filter 滤波后照射到 Sensor 面上；
2、Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。
3.1、如果 Sensor 没有集成 ISP，直接通过传输线进行基带传输 （基带就是基本频带，具体见《通信原理》；另一种就是方式调制传输），此时的数据格式是 RAW DATA。
3.2、如果集成 了 ISP， RAW DATA 数据经过 AWB（自动白平衡）、 则 color matrix、 lens shading、 gamma、 sharpness、 AE（自动曝光控制）和 de-noise （降噪）处理，后输出 YUV 或者 RGB 格式的数据。

《通信原理》——基带

基带英文全称Baseband，也可以翻译为“信源”（信息源，也称发终端）发出的没有经过调制（进行频谱搬移和变换）的原始电信号所固有的频带（频率带宽），称为基本频带，简称基带。 基带和频带相对应，频带：对基带信号调制前所占用的频率带宽（一个信号所占有的从最低的频率到最高的频率之差)。

2.5 DSP

​ 数字信号处理器DSP(DIGITAL SIGNAL PROCESSING)功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备
2.5.1 DSP和ISP区别

名词解释：

ISP 是Image Signal Processor 的简称，也就是图像信号处理器。

DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。

功能解释：

ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。（具体在：https://blog.csdn.net/djfjkj52/article/details/115324741 进行讲解“摄像头自动曝光，自动对焦，自动白平衡，ISP，图像处理及色彩模型，色彩空间”）

DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。

3. 分类及相关概念

3.1 按接口分

USB接口
​ UVC，全称 USB Video Class 、是 USB-IF 定制的一套标准，所有遵循这一标准的 USB 接口摄像头在 Windows Linux 等系统下，几乎能直接使用，达到类似免驱的效果。
​ 当然了，并不是说真正的不需要驱动，而是只要某个 USB 接口的摄像头遵循了 UVC标准，它就能被 Window、Linux 系统中一套通用的驱动所驱动，而不需要你再安装其他的驱动。比如 Linux 内核中就有一套针对 UVC 设备的通用驱动：drivers/media/usb/uvc , 只要打开了这套驱动，几乎所有的 UVC 摄像头都可以直接使用。
MIPI接口
​ MIPI（移动行业处理器接口）是Mobile Industry Processor Interface的缩写。MIPI是MIPI联盟发起的为移动应用处理器制定的开放标准。
​ MIPI 组织致力于把移动通信设备内部的接口标准化从而减少兼容性问题并简化设计。例如摄像头接口CSI、显示接口DSI、射频接口DigRF、麦克风/喇叭接口SLIMbus等。

 
 

 
 
1
2
3
4
5
6

 DVP接口
​ DVP是并口传输，速度较慢，传输的带宽低，使用需要PCLK\sensor输出时钟、MCLK（XCLK）\外部时钟输入、VSYNC\场同步、HSYNC\行同步、D[0：11]\并口数据——可以是8/10/12bit数据位数大小。
LVDS接口：LVDS（Low Voltage Differential Signaling)即低压差分信号传输
网口：IPC网络摄像头
SDI接口：专业视频接口，采用同轴电缆的，走数字信号，现在有18GHz带宽的产品，可以满足8K视频传输。
RGB接口：模拟视频接口，采用同轴电缆的，走模拟信号，720x576标清信号以下。
eDP接口：比较新的规范，在笔记本行业将广泛用于取代LVDS，支持超高分辨率，支持1080P以上

 
 

 
 
1
2
3
4
5
6
7

3.2 按镜头分类

广角镜头
标准镜头
长焦镜头变焦镜头针孔镜头

 
 

 
 
1
2
3

3.3 按成像分

彩色摄像头黑白摄像头红外摄像头

 
 

 
 
1

3.4按感光原件分

CCDCMOS

 
 

 
 
1

3.5按焦距是否可调分

定焦摄像头变焦摄像头

 
 

 
 
1

3.6 按sensor封装分

CPS
COB

 
 

 
 
1
2