Camera（1）基本概念介绍

一、基本概念介绍

1、camera成像原理

        外部光线穿过 lens（镜面） 后， 经过 color filter（颜色滤波器） 滤波后照射到 Sensor 上， Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果 Sensor 没有集成 DSP(数字信号处理)，则通过 DVP（数据视频接口） 的方式传输到baseband（原始数据处理器），此时的数据格式是RAW DATA。如果集成了DSP，RAW DATA数据经过AWB、color matrix、 lens shading、 gamma、 sharpness、AE、de-noise等处理后，输出YUV或者RGB格式的数据。最后会由 CPU 送到 frame buffer 中进行显示，这样我们就看到camera拍摄到的景象了。

        注：DVP（Digital Video Port）也是一种常用于连接摄像头模块和其他处理器的并行接口技术。与MIPI CSI相比，它的应用较少，但在一些特定的硬件配置中仍然见到。与MIPI不同，DVP通常采用并行数据传输方式，这可能在某些情况下带来更高的数据传输稳定。MIPI CSI（Camera Serial Interface）是一种标准的通信协议，专为图像传感器和处理器之间的高速数据传输设计。它广泛应用于移动设备如智能手机和平板电脑中。

2、camera组成结构

一、lens

        摄像头镜头是整个camera模组最重要的组成部分之一，它决定了摄像头的成像效果。镜头的质量、焦距、光圈等参数都会影响摄像头的成像效果。是汇聚光线，在CMOS/CCD上形成景物的图像，为了成像清晰，减少像差，镜头用多片镜片组合，根据需要通过调整LENS获得拍照所需要的焦距。

1.焦距

        一般来说，对于单片镜头就是镜头中心到焦点的距离，而相机镜头是由多片透镜组合，就要复杂许多。这里焦距就指的是从镜头的中心点到感光元器件（CCD）上所形成的清晰影像之间的距离。焦距和视角、成像的关系：简单来说，就是焦距越短，视角越宽广，取景范围就越大，单个物体成像越小。

2.Fov

        FOV的全称是Field of View（视场角）。如下图所示，根据摄像头的成像原理的情况来看，每一个摄像头的成像宽度是固定的，对于不同的焦距，视场角α的值不一样的。对应的关系：焦距越长，视场角越小；焦距越短，视场角越大。对于视野范围来讲，焦距越长，视野范围也远；焦距越短，视野范围越短。

3.景深

        当某一物体聚焦清晰时，从该物体前面的某一段距离到其后面的某一段距离内的所有景物也都相当于是清晰的。焦点相当清晰的这段从前到后的距离就叫做景深。由相机的光圈大小、焦距、拍摄距离和相机感光元件的尺寸等因素决定。景深越浅，被摄物体与背景的差异越明显，相机所能够拍摄的焦点范围也越小，而景深越深，则被摄物体与背景的差异越不明显，相机所能够拍摄的焦点范围也越大。调整相机的景深可以通过调整光圈大小、改变相机的焦距和拍摄距离等方法实现。在实际拍摄中，可以根据需要选择适当的景深范围，以获得理想的拍摄效果。

4.光圈

        光圈英文名称为Aperture，光圈是一个用来控制光线透过镜头，进入机身内感光面的光量的装置，也是相机一个极其重要的指标参数，它通常是在镜头内。它的大小决定着通过镜头进入感光元件的光线的多少。表达光圈大小我们是用f值。光圈的f值 = 镜头的焦距 / 镜头口径的直径；从以上的公式可知，要达到相同的光圈f值，长焦距镜头的口径要比短焦距镜头的口径大。

        光圈的大小通常用f值来表示，例如f/2.8、f/4等。f值越小，光圈越大，摄入的光线越多，景深也越浅；f值越大，光圈越小，摄入的光线越少，景深也越深。光圈的大小对相机的曝光量和景深有很大的影响。在室内或低光环境下，如果光圈太小，相机将无法摄入足够的光线，导致曝光不足；如果光圈太大，相机将摄入过多的光线，导致曝光过度。在拍摄时，根据需要可以调整光圈大小，以获得合适的曝光量和景深范围。在摄影中，光圈的调整常常用于控制景深。较大的光圈可以使景深变浅，突出被摄物体，同时也能够模糊背景，使背景不分明；而较小的光圈可以使景深变深，使整个场景更加清晰，但也可能导致背景变得更加突出。

5.畸变

        像平面上不同位置有不同的放大率，广角镜头容易产生桶形畸变，长焦镜头容易产生枕形畸变。畸变与物像点离光轴的垂直高度的立方成正比，因此，物像四角的畸变比物像的四边的畸变程度大。

二、音圈马达

        VCM概述：全称Voice Coil Montor，电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动上下运动。手机摄像头广泛的使用VCM实现自动对焦功能，通过VCM可以调节镜头的位置，呈现清晰的图像。

        VCM主要构件：不同厂商的VCM结构略有差异，大致可以分为： Shield Case（外壳）、Frame（支架）、F Spacer（前垫片，用于绝缘）、F Spring（前簧片，用于承载载体，平衡力矩）、Yoke（用于固定其他组件，导磁）、Magnet（磁石，产生永久磁场）、Coil（线圈，通电产生驱动力矩）、Carrier（载体，用于承载镜头）、B Spacer（后垫片，用于绝缘）、B Spring（后弹簧，用于承载载体，平衡力矩）、Base（底座，用于固定部件）。

        VCM作用：通过电感线圈产生不同方向和强度的磁场（弗莱明左手定则）。利用引力或斥力来推动镜头移动它靠簧片方式支持镜头伸缩，给Coil不同的电流，使Lens停在不同的点上面。手机摄像头的VCM需要Driver IC配合完成对焦，通过Driver IC控制VCM供电电流的大小，来确定VCM搭载的镜头移动的距离，从而调节到适当的位置拍摄清晰图像。

三、红外滤光片

        在摄像头的成像过程中，光线的颜色是非常重要的因素。为了保证成像的准确性和真实性，摄像头通常需要配备红外滤光片。红外滤光片是一种特殊的滤光器，它可以过滤掉红外线（IR）波段的光线，只允许可见光（VIS）波段的光线通过。这是因为在拍摄照片或录制视频时，红外光会对图像的真实性和准确性产生影响。

        红外滤光片主要由玻璃等材料制成，其特殊的光学性能可以有效地阻挡红外光的穿透，提高了拍摄的清晰度和色彩还原度。在摄像头模组中，红外滤光片通常位于镜头的前面，起到光学保护和滤镜的作用。

四、sensor

1.感光原理

        Camera Sensor是由数百万上千万数量小方块的CCD或CMOS感光元件（简称像素），以平面阵列方式排列组成，其感光原理是于感光元件表层上整合RGB（红、绿、蓝）三原色的滤镜，通过对一个一个的感光点对光进行采样和量化形成图像。Sensor中每一个感光点只对应一个彩色滤光片，因此只能感光RGB中的一种颜色。通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。

        Sensor的彩色滤镜阵列元件，基本上是采用了Bayer图样（RGRG/GBGB排列如下图）的排列方式，实现RGB三原色滤镜依序，以Striped Array（条状阵列）形式，红、蓝、绿相互交替，分别去 "捕捉" 三原色的光能量。以光学的角度而言，应该说成是光线通过镜头的不同镜片组，投射抵达至整合了Bayer图样的条状阵列RGB滤镜的图像传感器，而图像传感器记录了进光量的电荷，转成数字参数，成为了RAW文件的图像信息即RAW DATA。

        绿色滤镜元件，是红、蓝的2倍，只因人类眼睛识别颜色不是线性的，我们的眼睛对于绿色，显然是比较敏感。因此护眼常识都在鼓励人们多看绿色的缘故。理论上RGB的3原色滤镜数量比例是1: 2: 1。

        Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像大小取决于自身特性与配置，例如某款Sensor配置为10-bit RGB RAW，并且图像尺寸为1024*768，那么单帧图像大小为1024*768*10bit=7680kb。当然也有些Sensor内置格式转换单元，可以直接输出YUV数据或者RGB数据。

2.sensor结构

        光线不是经由镜头，然后直接照射CCD/CMOS 的感光二极管阵列上的。在光线射到感光阵列前，还要经过传感器表层的微透镜和滤光层。在感光二极管之上，有很多微型的透镜。这些透镜按照二极管的阵列排列，也就是每个感光二极管的上面都有附着一个微型透镜，即一个透镜对应一个像素来排列。微透镜是用来聚集光线的凸透镜。在阵列中，感光二极管的感光面有限，对应一格像素内的大部分面积是无效受光区域，所以要把阵列中每格二极管前的光线集中起来，射到二极管的受光面上。滤光层的作用是把色彩滤掉。保证每个二极管感受到的光是单色的。因为感光二极管只能输出不同的电平，也就是只能表示光的强度，没办法表示颜色信息。在二极管阵列前面，加个滤光层，指定这个二极管感受一种颜色的光强，光线中其他的颜色就去掉。这样每个二极管的输出信号就对应为一种颜色的强度了。这种做法的缺点是每个像素点得不到真正的信息，只能通过相邻像素的其他颜色强度，来猜测自己这一格内的其他颜色强度，再把颜色组合起来，算出真正的颜色。这就是所谓的马赛克结构。最常见的马赛克结构就是RGB 三个基色相错排列；适马开发的FOVEON X3 传感器，其实就是每个格子的感光电路，可以感受RGB 三种基色的信息，缺点是在感光阵列上要加三层滤光层，光线强度会有损失。

3.Sensor曝光参数

• 光圈：光圈指的是镜头内光圈叶片的开口大小。通常使用的表示方式为 F/1.8 , F/2.8 , F/5.6 , ...... , F/22 , F/32。数字越大代表光圈越小，反之数字越小光圈越大。
• 快门：快门指的是曝光的时间，通常使用的表示方式為 10" , 5" , 1" , 1/8 , 1/30 , 1/60 , ...... , 1/8000。由左至右来看 , 越往右侧曝光时间越短 , 单位均为秒。
• ISO：ISO指的是感光度，通常使用的表示方式為 50 , 100 , 200 , 400 , 640 , ...... , 12800 , 25600。数字越低 , 代表的对光线的敏感度越低 , 越高代表对光线的敏感度越高。但在数位相机上 , 通常越高的ISO亦会伴随著较高的杂讯 , 对画质将有所影响。

4.PCB

        相机PCB（Printed Circuit Board）指的是相机内部的电路板，用于控制相机的各项功能。相机PCB通常包括主板和子板两种类型。

        主板是相机PCB的核心部件，负责控制相机的各个部分，例如图像传感器、光圈、快门、自动对焦、曝光等。主板还可以与相机的显示屏、存储卡、电池等部件进行通讯，以实现相机的各项功能。主板的设计和制造需要考虑到电路的可靠性、稳定性和耐用性等因素。

        子板则是相机PCB的辅助部件，用于实现相机的一些特殊功能，例如GPS、WiFi、蓝牙等。子板通常是可拆卸的，这意味着可以根据需要添加或移除一些特殊功能。

        相机PCB的设计和制造需要考虑到电路的复杂性和精度，以确保相机的各项功能正常运行。相机PCB的制造通常需要使用高精度的印刷技术和精密的焊接工艺，以确保电路的可靠性和稳定性。

3.ISP

        ISP 通过一系列数字图像处理算法完成对数字图像的效果处理。主要包括3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。ISP 包括逻辑部分以及运行在其上的firmware。

        ISP 的控制结构如图，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB 空间域的图像给后端的视频采集单元。在这个过程中，ISP 通过运行在其上的firmware 对ISP逻辑，lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能，其中，firmware的运转靠视频采集单元的中断驱动，PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。

        注：vendor/mediatek/proprietary/hardware/mtkcam/aaa/source/Android.mk文件中根据平台信息确认使用ISP软件版本，mt6771使用ISP5.0.