【camera】手机相机系统

【写在前面】
  网上资料梳理，侵删烦请联系。或有表达错误，欢迎指出纠正。
【参考引用】
  [1]https://blog.csdn.net/u012596975/article/details/107137883

1 相机系统

1.1 相机模组

组成：镜头、对焦马达、滤光片、感光器(sensor)。
作用：光电转换。

1.1.1 镜头参数

• 视场角(Fov)
  决定镜头可以成像多大范围的场景。
  Fov越大，范围越大，但可能导致畸变，可通过畸变矫正算法修正。
• 焦距F
  焦点：平行于透镜主轴的光线汇聚的点。
  焦距：焦点至透镜中心的距离。
  焦距越大，Fov越小。
• 光圈值f
  镜头焦距F/实际光圈直径
  f越小，进光量越大。
  手机镜头一般采用f/2.0的固定光圈。

1.1.2 对焦马达

主要是音圈马达（VCM）。
为方便调整镜头，一般将镜头集成在马达模组中。
主板通过I2C传输指令，驱使马达移动，调整镜头。
原理：在永久磁场内部，通过改变马达内线圈的直流电流大小，控制弹簧片拉伸位置，带动镜头上下运动。
使用模式：
①变焦（光学变焦）。移动透镜，改变整个镜头的焦距，引起视场角变化，使景物放大缩小。不损失图像细节，受体积限制，无法进行大范围光学变焦。
②对焦。移动镜头使物体的像平面与感光器的感光平面重合。获得清晰的图像。
光线经过镜头，进入下一个组件—滤光片。

1.1.3 滤光片

功能：
①过滤红外线
仅让可见光透过。
②修正光线
保留直射光线，反射掉通过透镜的许多非平行直射的光线。
经过过滤修正，入射的光线具有稳定性，可以通过感光器进行光电转换。

1.1.4 感光器

主要包括CCD与CMOS两类。CMOS成本低，为主流。
CMOS采用三层结构：微透镜+滤光片+感光层
①微透镜
扩展单个像素的受光面积；
②滤光片
RGB模式：采用RGB颜色分量分别度量每一个像素的三通道灰度值；
Bayer模式：与RGB类似，进一步强调绿色分量，将G定义为Gr、Gb。
③感光层（光>模电>数电）
将光子转换成电子信号，经过放大电路及模电转换电路，将其转换成数字信号。
核心是二极管。每个二极管上都包含了一个放大器和一个数模转换电路。

1.2 图像处理器(ISP)

硬件模块：IFE、BPS、IPE、JPEG

1.2.1 IFE

Image Front End，图像前端。
sensor输出数据首先到达IFE，对preview及video做一些颜色校正、下采样、去马赛克统计3A数据的处理。

1.2.2 BPS

Bayer processing segment，拜尔处理。
用于拍照图像数据的坏点去除、相位对焦、去马赛克、下采样、HDR处理以及Bayer的混合降噪处理。

1.2.3 IPE

Image processing engine，图像处理引擎。
由NPS、PPS两部分组成。
用于硬件降噪（MFNR、MFSR）、图像的裁剪、降噪、颜色处理、细节增强等图像处理工作。

1.2.4 JPEG

拍照数据的存储通过该硬件模块进行jpeg编码工作。

2 双摄技术

采用两个摄像头模组分别成像，通过特定的算法处理，融合成一张图像，达到特定成像需求目的。

2.1 背景虚化(RGB+RGB)

采用两个RGB相机模组，同时对景物进行成像。利用三角测量原理，计算出每个点的景深数据。依照该数据进行前景与背景的分离，再通过虚化算法针对背景虚化处理。
注：由于三角测量原理的限制，需要对两个相机模组进行标定，使两者成像平面位于同一平面，并且保持像素对齐。

2.2 暗光提升(RGB+MONO)

MONO：黑白相机模组。
MONO无Bayer滤光片，暗光条件下，可以获得更多进光量，进而保存更多图像细节；RGB可补充颜色分量，保证暗光下的成像质量。
由于需要对两个相机模组的成像进行融合，需要进行标定，使两个相机模组可保持像素对齐。

2.3 光学变焦(广角+长焦)

变焦：在对焦马达中，通过调整单个透镜进行焦距变换实现。
局限：受体积限制，无法从单个相机模组中得到更大的变焦范围。
光学变焦：采用两个具有不同焦距的模组共同实现。通过广角模组呈现大范围场景，通过长焦模组看到更远场景。拍照时，模组切换以及优秀的融合算法实现了相对平滑的变焦操作。