Camera 基础概念

一、基本概念

1. 帧：简单来说，一帧就是一副图像。显示器上面我们看到的画面就是一帧一帧的显示的。只不过显示的速度足够快，人眼以为画面是运动的。
2. 帧率：是以帧为单位，sensor单位时间内曝光并输出图像的频率，通常使用fps（frame per second）来表示，比如帧率是30fps，则代表1秒内输出30帧图像。
3. 有效像素数：是指所有可以用的像素。
4. pclk：是控制像素输出的时钟，即pixel采样时钟，一个clk采集一个像素点 , 单位MHz。表示是每个单位时间内（每秒）采样的pixel数量。
5. H_Blank：是指Horizontal Blanking。假定曝光起始位置在图像的左上角，对于逐行曝光的 sensor 来说，曝光从第一个像素开始，依次曝光直至这行的最后一个像素曝光结束，这时曝光位置要从此行的尾部快速移动到下一行的头部，开始下一行的曝光，这段行与行之间的返回过程称为H_Blank。
6. V_Blank：是指Vertical Blanking，假定曝光起始位置在图像的左上角，曝光完成一帧图像后，曝光位置要从图像的右下角返回左上角，开始新一帧的曝光，这一段时间间隔称为V_Blank。
7. dummy_line：虚拟行，是用来填充V_Blank的行，一般最大曝光行数是要大于有效像素的长的，就是因为加了dummy_line的原因。
8. line_length：一行像素的长度，它包含H_Blank。line_length = width_number_of_effective_cloumns+H_Blank。
9. frame_length：一帧的行数，也就是帧长，它包含V_Blank。frame_length = height_number_of_effective_rows + V_Blank。
10. line_time：曝光一行的时间。
11. exposure_time：曝光时间，指一帧曝光了多长时间，这里是绝对时间。单位用秒（s）、毫秒（ms）或微秒（us）表示。
12. integration_time：积分时间，单位为line，通常也称为曝光行。对于逐行曝光的sensor来说，积分时间是指这一帧曝光了多少行，这是一个相对时间。

二、模组结构图

三、Camera成像原理

        Camera工作原理：外部光线穿过 lens 后， 经过 color filter 滤波后照射到 Sensor 上， Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果 Sensor 没有集成 DSP，则通过 DVP 的方式传输到baseband，此时的数据格式是RAW DATA。如果集成了DSP，RAW DATA数据经过AWB、color matrix、 lens shading、 gamma、 sharpness、AE、de-noise等处理后，输出YUV或者RGB格式的数据。最后会由 CPU 送到 frame buffer 中进行显示，这样我们就看到camera拍摄到的景象了。

四、Camera组成结构

4.1 Lens

        Lens简介：摄像头镜头是整个camera模组最重要的组成部分之一，它决定了摄像头的成像效果。镜头的质量、焦距、光圈等参数都会影响摄像头的成像效果。

          Lens的作用：是汇聚光线，在CMOS/CCD上形成景物的图像，为了成像清晰，减少像差，镜头用多片镜片组合，根据需要通过调整LENS获得拍照所需要的焦距。

        Lens的主要参数介绍：

4.1.1 焦距

        一般来说，对于单片镜头就是镜头中心到焦点的距离，而相机镜头是由多片透镜组合，就要复杂许多。这里焦距就指的是从镜头的中心点到感光元器件（CCD）上所形成的清晰影像之间的距离。

        焦距和视角、成像的关系：简单来说，就是焦距越短，视角越宽广，取景范围就越大，单个物体成像越小。

4.1.2 Fov

        FOV的全称是Field of View（视场角）。如下图所示，根据摄像头的成像原理的情况来看，每一个摄像头的成像宽度是固定的，对于不同的焦距，视场角α的值不一样的。

        对应的关系：焦距越长，视场角越小；焦距越短，视场角越大。对于视野范围来讲，焦距越长，视野范围也远；焦距越短，视野范围越短。

4.1.3 景深

        当某一物体聚焦清晰时，从该物体前面的某一段距离到其后面的某一段距离内的所有景物也都相当于是清晰的。焦点相当清晰的这段从前到后的距离就叫做景深。

        由相机的光圈大小、焦距、拍摄距离和相机感光元件的尺寸等因素决定。

        景深越浅，被摄物体与背景的差异越明显，相机所能够拍摄的焦点范围也越小，而景深越深，则被摄物体与背景的差异越不明显，相机所能够拍摄的焦点范围也越大。

        调整相机的景深可以通过调整光圈大小、改变相机的焦距和拍摄距离等方法实现。在实际拍摄中，可以根据需要选择适当的景深范围，以获得理想的拍摄效果。

4.1.4 光圈

        光圈英文名称为Aperture，光圈是一个用来控制光线透过镜头，进入机身内感光面的光量的装置，也是相机一个极其重要的指标参数，它通常是在镜头内。它的大小决定着通过镜头进入感光元件的光线的多少。

        表达光圈大小我们是用f值。光圈的f值 = 镜头的焦距 / 镜头口径的直径

        从以上的公式可知，要达到相同的光圈f值，长焦距镜头的口径要比短焦距镜头的口径大。

        光圈的大小通常用f值来表示，例如f/2.8、f/4等。f值越小，光圈越大，摄入的光线越多，景深也越浅；f值越大，光圈越小，摄入的光线越少，景深也越深。

        光圈的大小对相机的曝光量和景深有很大的影响。在室内或低光环境下，如果光圈太小，相机将无法摄入足够的光线，导致曝光不足；如果光圈太大，相机将摄入过多的光线，导致曝光过度。在拍摄时，根据需要可以调整光圈大小，以获得合适的曝光量和景深范围。

        在摄影中，光圈的调整常常用于控制景深。较大的光圈可以使景深变浅，突出被摄物体，同时也能够模糊背景，使背景不分明；而较小的光圈可以使景深变深，使整个场景更加清晰，但也可能导致背景变得更加突出。

4.1.5 畸变

        像平面上不同位置有不同的放大率，广角镜头容易产生桶形畸变，长焦镜头容易产生枕形畸变。畸变与物像点离光轴的垂直高度的立方成正比，因此，物像四角的畸变比物像的四边的畸变程度大。

4.2 VCM(Voice Coil Motor)音圈马达

        VCM概述：全称Voice Coil Montor，电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动上下运动。手机摄像头广泛的使用VCM实现自动对焦功能，通过VCM可以调节镜头的位置，呈现清晰的图像。

4.2.1 VCM主要构件

        不同厂商的VCM结构略有差异，大致可以分为： Shield Case（外壳）、Frame（支架）、F Spacer（前垫片，用于绝缘）、F Spring（前簧片，用于承载载体，平衡力矩）、Yoke（用于固定其他组件，导磁）、Magnet（磁石，产生永久磁场）、Coil（线圈，通电产生驱动力矩）、Carrier（载体，用于承载镜头）、B Spacer（后垫片，用于绝缘）、B Spring（后弹簧，用于承载载体，平衡力矩）、Base（底座，用于固定部件）。

4.2.2 VCM作用

        通过电感线圈产生不同方向和强度的磁场（弗莱明左手定则）。利用引力或斥力来推动镜头移动它靠簧片方式支持镜头伸缩，给Coil不同的电流，使Lens停在不同的点上面。手机摄像头的VCM需要Driver IC配合完成对焦，通过Driver IC控制VCM供电电流的大小，来确定VCM搭载的镜头移动的距离，从而调节到适当的位置拍摄清晰图像。

4.3 红外滤光片

        在摄像头的成像过程中，光线的颜色是非常重要的因素。为了保证成像的准确性和真实性，摄像头通常需要配备红外滤光片。红外滤光片是一种特殊的滤光器，它可以过滤掉红外线（IR）波段的光线，只允许可见光（VIS）波段的光线通过。这是因为在拍摄照片或录制视频时，红外光会对图像的真实性和准确性产生影响。

        红外滤光片主要由玻璃等材料制成，其特殊的光学性能可以有效地阻挡红外光的穿透，提高了拍摄的清晰度和色彩还原度。在摄像头模组中，红外滤光片通常位于镜头的前面，起到光学保护和滤镜的作用。

4.4 Sensor

4.4.1 感光原理

        Camera Sensor是由数百万上千万数量小方块的CCD或CMOS感光元件（简称像素），以平面阵列方式排列组成，其感光原理是于感光元件表层上整合RGB（红、绿、蓝）三原色的滤镜，通过对一个一个的感光点对光进行采样和量化形成图像。Sensor中每一个感光点只对应一个彩色滤光片，因此只能感光RGB中的一种颜色。通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。

        Sensor的彩色滤镜阵列元件，基本上是采用了Bayer图样（RGRG/GBGB排列如下图）的排列方式，实现RGB三原色滤镜依序，以Striped Array（条状阵列）形式，红、蓝、绿相互交替，分别去 "捕捉" 三原色的光能量。以光学的角度而言，应该说成是光线通过镜头的不同镜片组，投射抵达至整合了Bayer图样的条状阵列RGB滤镜的图像传感器，而图像传感器记录了进光量的电荷，转成数字参数，成为了RAW文件的图像信息即RAW DATA。

        绿色滤镜元件，是红、蓝的2倍，只因人类眼睛识别颜色不是线性的，我们的眼睛对于绿色，显然是比较敏感。因此护眼常识都在鼓励人们多看绿色的缘故。理论上RGB的3原色滤镜数量比例是1: 2: 1。

        Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像大小取决于自身特性与配置，例如某款Sensor配置为10-bit RGB RAW，并且图像尺寸为1024*768，那么单帧图像大小为1024*768*10bit=7680kb。当然也有些Sensor内置格式转换单元，可以直接输出YUV数据或者RGB数据。

4.4.2 Sensor 结构

        光线不是经由镜头，然后直接照射CCD/CMOS 的感光二极管阵列上的。在光线射到感光阵列前，还要经过传感器表层的微透镜和滤光层。在感光二极管之上，有很多微型的透镜。这些透镜按照二极管的阵列排列，也就是每个感光二极管的上面都有附着一个微型透镜，即一个透镜对应一个像素来排列。

        微透镜是用来聚集光线的凸透镜。在阵列中，感光二极管的感光面有限，对应一格像素内的大部分面积是无效受光区域，所以要把阵列中每格二极管前的光线集中起来，射到二极管的受光面上。

        滤光层的作用是把色彩滤掉。保证每个二极管感受到的光是单色的。因为感光二极管只能输出不同的电平，也就是只能表示光的强度，没办法表示颜色信息。在二极管阵列前面，加个滤光层，指定这个二极管感受一种颜色的光强，光线中其他的颜色就去掉。这样每个二极管的输出信号就对应为一种颜色的强度了。这种做法的缺点是每个像素点得不到真正的信息，只能通过相邻像素的其他颜色强度，来猜测自己这一格内的其他颜色强度，再把颜色组合起来，算出真正的颜色。这就是所谓的马赛克结构。最常见的马赛克结构就是RGB 三个基色相错排列；

        适马开发的FOVEON X3 传感器，其实就是每个格子的感光电路，可以感受RGB 三种基色的信息，缺点是在感光阵列上要加三层滤光层，光线强度会有损失。

4.4.3 Sensor曝光参数

        a. 光圈：光圈指的是镜头内光圈叶片的开口大小。通常使用的表示方式为 F/1.8 , F/2.8 , F/5.6 , ...... , F/22 , F/32。

数字越大代表光圈越小，反之数字越小光圈越大。

        b. 快门：快门指的是曝光的时间，通常使用的表示方式為 10" , 5" , 1" , 1/8 , 1/30 , 1/60 , ...... , 1/8000。

        由左至右来看 , 越往右侧曝光时间越短 , 单位均为秒。

        c. ISO：ISO指的是感光度，通常使用的表示方式為 50 , 100 , 200 , 400 , 640 , ...... , 12800 , 25600。

        数字越低 , 代表的对光线的敏感度越低 , 越高代表对光线的敏感度越高。但在数位相机上 , 通常越高的ISO亦会伴随著较高的杂讯 , 对画质将有所影响。

4.5 PCB

        相机PCB（Printed Circuit Board）指的是相机内部的电路板，用于控制相机的各项功能。相机PCB通常包括主板和子板两种类型。

        主板是相机PCB的核心部件，负责控制相机的各个部分，例如图像传感器、光圈、快门、自动对焦、曝光等。主板还可以与相机的显示屏、存储卡、电池等部件进行通讯，以实现相机的各项功能。主板的设计和制造需要考虑到电路的可靠性、稳定性和耐用性等因素。

        子板则是相机PCB的辅助部件，用于实现相机的一些特殊功能，例如GPS、WiFi、蓝牙等。子板通常是可拆卸的，这意味着可以根据需要添加或移除一些特殊功能。

        相机PCB的设计和制造需要考虑到电路的复杂性和精度，以确保相机的各项功能正常运行。相机PCB的制造通常需要使用高精度的印刷技术和精密的焊接工艺，以确保电路的可靠性和稳定性。