高通camera驱动学习流程一 ----------- 硬件篇(1)

工作流程：
自然景观->摄像头模块->摄像头接口->手机的摄像头控制器->LCD
摄像头模块将采集到的数据（RGB、YUV）通过摄像头接口传输到手机的摄像头控制器中，然后显示在手机的LCD上，其中，摄像头模块输出的什么数据（格式、分辨率等）是由手机的摄像头控制器来控制的，它是通过摄像头接口来操作摄像头模块的寄存器来控制输出的数据。
工作原理：
光线通过镜头Lens进入摄像头内部，然后经过IR Filter过滤红外光，最后到达sensor（传感器），senor分为按照材质可以分为CMOS和CCD两种，可以将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给DSP（如果有的话，如果没有则以DVP的方式传送数据到基带芯片baseband，此时的数据格式Raw Data，后面有讲进行加工）加工处理，转换成RGB、YUV等格式输出。

1 自然景观
就是我们人眼所看到的东西、景色等。
2 摄像头模块
2.1 camera模组组成

2.1.1 lens
（1）概念
镜头,一般 camera 的镜头结构是有几片透镜组成，分有塑胶透镜（Plastic)和玻璃透 镜(Glass) ，通常镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G 等。 镜头是相机的灵魂，单反中一个镜头上万是很随意的事。（2）工作原理
镜头对成像有很重要的作用，相当于人眼中的晶状体，利用透镜的折射原理，景物光线透过镜头在聚焦平面上形成清晰的像，然后通过感光材料CMOS或CCD记录影像，并通过电路转换为电信号。
（3）作用
使景物成像
2.1.2 VCM音圈马达
（1）概念
VCM（Voice Coil Motor），电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。
其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动上下运动。
（2）工作原理
VCM和喇叭的工作原理一样，都是在固定磁场中加电流或电荷产生力的原理，从而产生运动的过程，即初中物理所谈左手定则。
左手定则：左手平展，让磁感线穿过手心，使大拇指与其余四指垂直，并且都跟手掌在一个平面内。把左手放入磁场中，让磁感线垂直穿入手心，手心面向N极(叉进点出)，四指指向电流所指方向，则大拇指的方向就是导体受力的方向。
手机摄像头的VCM需要Driver IC配合完成对焦，通过Driver IC控制VCM供电电流的大小，来确定VCM搭载的镜头移动的距离，从而调节到适当的位置拍摄清晰图像。
（3）作用
手机摄像头广泛的使用VCM实现自动对焦功能，通过VCM可以调节镜头的位置，呈现清晰的图像。
2.1.3 红外滤光片
（1）概念
指红外摄影用的深红色滤光片。颜色即使不太深的滤光，也会有相应的效果。
（2）作用
滤除红外线。主要是过滤掉进入镜头的光线中的红外光，这是因为人眼看不到红外光，但是sensor却能感受到红外光，所以需要将光线中的红外光滤掉，以便图像更接近人眼看到的效果。
修整进来的光线。感光芯片由感光体(CELL)构成,最好的光线是直射进来,但为了怕干扰到邻近感光体,就需要对光线加以修整,因此那片滤光片不是玻璃,而是石英片,利用石英的物理偏光特性,把进来的光线,保留直射部份,反射掉斜射部份,避免去影响旁边的感光点.
2.1.4 sensor
（1）概念
图像传感器（SENSOR）是一种半导体芯片，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。
（2）作用
这是最重要的部分，是camera的控制芯片。sensor是摄像头的核心，负责将通过Lens的光信号转换为电信号，再经过内部AD转换为数字信号。SENSOR 类型有两种：CCD和CMOS。
2.1.5 PCB
连接芯片和手机，起到电信号传输作用。
2.2 CCD和CMOS的区别
2.2.1 CCD（Charge Coupled Device）
（1）概念
电荷耦合器件，它是目前高像素类 sensor 中比较成熟的成像器件，是以一行为单位的电流信号。
（2）工作原理
它是使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成电信号。CCD由许多独立的感光单位组成，通常以百万像素为单位。当CCD表面受到光照时，每个感光单位都会将电荷反映在组件上，所有的感光单位产生的信号加在一起，就构成了一幅完整的图像。
（3）优缺点
CCD传感器，电荷信号先传送，后放大，再A/D，成像质量灵敏度高、分辨率好、噪声小；处理速度慢；造价高，工艺复杂。
2.2.2 CMOS（Complementary Metal-Oxide Semiconductor）
（1）概念
互补金属氧化物半导体。CMOS的信号是以点为单位的电荷信号，更为敏感，速度也更快，更为省电。
（2）工作原理
主要是利用硅和锗做成的半导体，使其在CMOS上共存着带N(-)和P(+)级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。
（3）优缺点
CMOS传感器，电荷信号先放大，后A/D，再传送；成像质量灵敏度低、噪声明显；处理速度快；造价低，工艺简单。
2.2.3 总结
CCD的优势在于成像质量好，但是制造工艺复杂，成本高昂，且耗电高。在相同分辨率下，CMOS价格比CCD便宜，但图像质量相比CCD来说要低一些。CMOS影像传感器相对CCD具有耗电低的优势，加上随着工艺技术的进步，CMOS的画质水平也不断地在提高，所以目前市面上的手机摄像头都采用CMOS传感器。

2.3 camera成像原理

景物通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为模拟的电信号，经过 A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过 IO 接口传输到 CPU 中处理，通过 LCD 就可以看到图像了。
这个图实际上也可以说是semsor内部数据处理流程。sensor感光传感器、A/D转换器和DSP图像处理器是集成在sensor传感器中的。

以上的讲解对于任何摄像头都是通用的，但是以下的讲解将会因不同的摄像头而有所不同，所以以下的讲解将以具体的摄像头为例来讲解。
以下的讲解将以OV7740摄像头为例来讲解，该OV7740摄像头是CMOS 摄像头。

2.4 常用参数
这些参数都是查看camera数据手册得来的，以ov7740camera为例
2.4.1 关键参数
输入信号: 自然景观等的模拟信号
输出信号: RGB、YUV格式的数字信号
输出格式为：RAW RGB、YUV
输出分辨率为：VGA(640480)、QVGA(240320)、CIF(352288)、更小的任意大小
有效感光阵列的大小：656488 = 320128(30W像素)（感光阵列是由像素点颗粒组成）（这个大小表示的是感光颗粒的个数）

镜头的大小：1/5寸（感光颗粒组成的感光阵列，物理组成是1/5寸）
像素点颗粒的大小: 4.2um * 4.2um（它表示一个感光颗粒的大小像素点颗粒只能感受三种颜色）

以上三个参数，都是用来描述感光阵列，即使同为30W像素的摄像头，如果它的镜头尺寸大小越小，那么对应的像素点颗粒的大小就越小，从而感光性就越差，进而拍摄的效果就越差。

输入时钟频率: 6~27MHz（即0V7740摄像头模组的工作频率范围。）
扫描模式:
连续扫描( P )：例如说图片是720P
隔行扫描(I):例如说图片是1080I


2.4.2 RGB和RAW RGB格式的区别
所谓的RAW RGB就是只有红绿蓝三种颜色的数据。而RGB数据，它不仅只表示红绿蓝
三种颜色，而且还能表示由红绿蓝组合成的任何一种颜色。

2.4.3 RGB和YUV的区别
RGB、YUV是两种完全不同的颜色空间，它们之间可以相互转换。

2.5 sensor内部数据处理流程（将输入信号转换为输出信号）
2.5.1 ISC（image sensor core，图像传感器核心部分 ）
作用：翻转、增益大小调整、黑电平校准、饱和度的控制、OTP存储器（存储厂家ID设备ID）
第一部分生成的是RAMRGB数据
2.5.2 ISP（image sensor processor，图像处理DSP）
作用：提供测试功能、镜头补偿功能、自动白平衡、RAW RGB->RGB、RGB->YUV、
窗口功能、缩小放大功能
里面有DSP数据处理单元，再将得到的数据传给下一部分
2.5.3 IOI（image output interface，图像输出单元）
RAW RGB/YUV、VGA/QVGA（分辨率）、BT601/BT656（数据传输方式）
2.5.4 总结
以上这些处理过程，只有极少部分是自动完成的，而剩余部分是需要我们设置后，才能完成。
是通过IIC总线，操作OV7740的寄存器来进行设置的。
这些过程都是查看芯片数据手册得来的。

3 摄像头接口
常见类型有MIPI、DVP和usb接口。
3.1 MIPI接口
（1）MIPI是差分串口传输，速度快，抗干扰。主流手机模组现在都是用MIPI传输，传输时使用4对差分信号传输图像数据和一对差分时钟信号；最初是为了减少LCD屏和主控芯片之间连线的数量而设计的，后来发展到高速了，支持高分辨率的显示屏，现在基本上都是MIPI接口了。
（2）MIPI摄像头有三个电源：VDDIO（IO电源），AVDD（模拟电源），DVDD（内核数字电源），不同sensor模组的摄像头供电不同，AVDD有2.8V或3.3V的；DVDD一般使用1.5V或更高，不同厂家的设计不同，1.5V可能由sensor模组提供或外部供给，可以使用外部供电则建议使用外部供，电压需大于内部的DVDD；VDDIO电压应与MIPI信号线的电平一致，若信号线是2.8V电平，则VDDIO也应供2.8V，有些sensor模组也可以不供VDDIO，由内部提供。
（3）MIPI的camera接口叫 CSI，MIPI的display接口叫DSI。
3.2 DVP接口
（1）DVP是并口传输，速度较慢，传输的带宽低，使用需要PCLK\sensor输出时钟、MCLK（XCLK）\外部时钟输入、VSYNC\场同步、HSYNC\行同步、D[0：11]\并口数据——可以是8/10/12bit数据位数大小。DVP摄像头电源和MIPI一样。
（2）各信号脚定义：
PCLK：像素点同步时钟信号，每个PCLK对应一个像素点，可以为48MHz；对于时钟信号，一般做包地处理，减少对其他信号的干扰，还需要在源端加电阻和电容，减少过冲和振铃，从而减少对其他信号的干扰。
MCLK（XCLK）：外部时钟输入，可由主控或晶振提供，由sensor规格书确定，可以为24MHZ；
VSYNC：帧同步信号，一帧一个信号，频率为几十Hz（30Hz）
HSYNC：行同步信号（频率为几十KHz）
例如：分别率 320×240的屏，每一行需要输入320个脉冲来依次移位、锁存这一行的数据，然后来个HSYNC 脉冲换一行；这样依次输入240行之后换行同时来个VSYNC脉冲把行计数器清零，又重新从第一行开始刷新显示。
3.3 USB接口
（1）通用串行总线（英语：Universal Serial Bus，缩写：USB）是一种串口总线标准，也是一种输入输出接口的技术规范，被广泛地应用于个人电脑和移动设备等信息通讯产品，并扩展至摄影器材、数字电视（机顶盒）、游戏机等其它相关领域。最新一代是USB 3.1，传输速度为10Gbit/s，三段式电压5V/12V/20V，最大供电100W ，新型Type C插型不再分正反。
（2）USB是一种常用的pc接口，它只有4根线，两根电源两根信号，故信号是串行传输的，usb接口也称为串行口，usb2.0的速度可以达到480Mbps。可以满足各种工业和民用需要。
USB接口的输出电压和电流是： +5V， 500mA 。实际上有误差，最大不能超过+/-0.2V ，也就是4.8–5.2V 。usb接口的4根线一般是下面这样分配的，需要注意的是千万不要把正负极弄反了，否则会烧掉usb设备或者电脑的南桥芯片：黑线：gnd ；红线：vcc ；绿线：data+ ；白线：data-。
3.4 Mipi 接口 和 LVDS 接口主要区别（这里是液晶屏接口类型）
（1）LVDS接口只用于传输视频数据，MIPI DSI不仅能够传输视频数据，还能传输控制指令；
（2）LVDS接口主要是将RGB TTL信号按照SPWG/JEIDA格式转换成LVDS信号进行传输，MIPI DSI接口则按照特定的握手顺序和指令规则传输屏幕控制所需的视频数据和控制数据。

液晶屏有RGB TTL、LVDS、MIPI DSI接口，这些接口区别于信号的类型（种类），也区别于信号内容。
RGB TTL接口信号类型是TTL电平，信号的内容是RGB666或者RGB888还有行场同步和时钟；
LVDS接口信号类型是LVDS信号（低电压差分对），信号的内容是RGB数据还有行场同步和时钟；
MIPI DSI接口信号类型是LVDS信号，信号的内容是视频流数据和控制指令。
3.5 摄像头接口类型
CMOS摄像头模块的接口分为两类:
(1).控制类(I2C总线)
– 初始化：对摄像头模块进行相应的初始化操作
，让摄像头模块能够正常的输出摄像头数据
– 控制: 设置亮度、旋转、缩放等等的操作

(2).数据传输类
与LCD的接口完全一样。
4 摄像头接口控制器(CAMIF)：（参考芯片手册）任何一个功能都有相应的寄存器
源：允许输入的最大分辨率是40964096，接受的方式是BT601/656，能接受的数据是8bit的YUV格式。
摄像头：输出的分辨率：640480运输方式：BT601
那么我们的控制器怎么知道摄像头生成的是什么格式的数据呢？这就需要我们设置一些寄存器来告诉摄像头控制器我们使用的是什么。
窗口功能的模块：就是对数据源进行裁剪，我们需要裁剪多少，裁剪多大都是由寄存器进行相应的设置。