4. 摄像头
摄像头的通用硬件结构如上图所示。利用透镜折射原理,景物光线透过镜头在聚焦平面上形成清晰的像,然后通过感光材料CMOS或CCD记录影像,并通过电路转换为电信号。2
Lens一般是有几片透镜组成,按材质可分为
Plastic :塑胶透镜
Glass :玻璃透镜
Glass比Plastic贵。在透光率和感光性等光学指标上也比Plastic要好。手机考虑到成本,一般使用的是Plastic。
结合以上2种结构,摄像头采用的镜头结构有:1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多,成本越高,相对成像效果会更出色。
5. 传感器 Sensor
负责将Lens的光信号转换为电信号,再进过内部AD转换为数字信号。
由于 Sensor 的每个 pixel 只能感光 R 光或 B 光或 G 光,因此每个像素此时存贮的是单色的,称之为 RAW DATA 数据。
想将每个像素的 RAW DATA 数据还原成三基色,就需要 ISP 来处理。
目前常用Sensor主要有CCD和CMOS:
5.1 CCD(Charge Coupled Device) 电荷耦合器件传感器
高感光度半导体材料制成,由许多感光单位组成,通常以百万像素为单位。
当CCD表面受到光线照射时,每个感光单位会将电荷反映在组件上,所有的感光单位所产生的信号加在一起,就构成了一幅完整的画面。
5.2 CMOS(Complementary Metal-Oxide Semiconductor)互补性氧化金属半导体
硅和锗做成的半导体,使其在CMOS上共存着带N(-)和P(+)级的半导体,这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。
CMOS传感器主要以美国、韩国和中国台湾为主导,主要生产厂家是美国的OmnVison、Agilent、Micron,中国台湾的锐像、原相、泰视等,韩国的三星、现代。
5.3 CCD VS CMOS
5.3.1 CCD特点
技术成熟、成像质量高、灵敏度高,噪声低,响应速度快,有自扫描功能,图像畸变小,无残像、应用超大规模集成电路工艺技术生产,像素集成度高,尺寸精确
5.3.2 CMOS特点
读取信息的方式简单、输出信息速率快、耗电省(仅为CCD芯片的1/10左右)、体积小、重量轻、集成度高、价格低等特点。
5.3.3 特点分析
如图-CCD和CMOS的感光二极管排列。
CCD阵列,是在仅有一条总线后加A/D转换(紫色箭头,见2. Basic Concept)。在时钟信号同步下,一步步移位读对应二极管的电平值。
CMOS阵列,是在每个感光二极管旁都加入了A/D转换。是主动式输出采集的数据信息,而CCD是在同步电路控制下被动式的输出采集的数据。
因此我们详细在性能,耗电,画质等方面做初步比较
性能
CCD需在同步时钟控制下以行为单位一位一位输出信息,速度当然慢不适合快速连拍,保存图像速度慢。
CMOS阵列有坐标嘛,传感器采集光信号的同时就可以取出电信号,保存图像速度快。
耗电
CCD耗电大,在同步信号控制下一位位读取,需要时钟控制电源和三组电源供电。
CMOS耗电小。CMOS传感器经光电转换后直接产生电流或电压信号,信号读取十分简单,而且感光二极管所需的电压,直接由晶体放大输出,所以需要施加在源极的电平很小
画质
CMOS是主动式输出数据,阵列上每个点都要经过两条传输总线,路程长,传输时的噪声引入多。
CMOS阵列的每个二极管旁边都有A/D,光电传感元件与电路之间距离很近,相互之间的光电磁干扰较为严重,放大的同时可能带入的噪声也大。
CMOS因为二极管旁带有A/D电路,同样尺寸的sensor,二极管能受光线面积小,一部分光线被浪费了,受光弱于CCD的感光二极管,带入的一点小噪声就会被放大。
发展
CCD传感器制作技术起步较早,技术比较成熟。近年来,CMOS技术发展一日千里,在中小尺寸传感器上,CMOS和CCD的画质区别已经很小。
5.4 传感器尺寸和画质的关系
传感器尺寸大小对于画质的影响,就是采集光线数据的正确性和完整性的不同。
传感器面积越大,感光阵列面积就越大,相邻感光电路的距离就越大,加电时产生的电磁干扰就越小。
传感器面积越大,感光阵列面积就越大,对应单个像素的透镜就能做的越大,聚集到的光线就越多,感光二极管受光后产生的输出电平就越高。带来更高的信噪比,转换后的信息处理正确率就越高
6. ISP and DSP
由于本人专业知识有限,不深入进行总结分析,感兴趣可参阅数字信号处理等相关书
ISP 处理Image Sensor(图像传感器)的输出数据,如AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Gamma校正、祛除坏点、Auto Black Level、Auto White Level 等等。
DSP功能较多,它可以做些拍照以及回显(JPEG的编解码)、录像以及回放(Video 的编解码)、H.264的编解码、还有很多其他方面的处理,总之是处理数字信号了。
可以认为ISP是一类特殊的处理图像信号的DSP。
数字信号处理芯片,感兴趣的可参阅5
7.图像
7.1 像素
一部手机屏幕的分辨率是1280×720,说明水平方向有720个像素点,垂直方向有1280个像素点,有1280×720个像素点(分辨率)。每个像素点都由三个子像素点。当要显示某篇文字或者某幅图像时,就会把这幅图像的每一个像素点的RGB通道分别对应的屏幕位置上的子像素点绘制到屏幕上,从而显示整个图像7。
7.2 RGB表示方式
通用图像数据格式,理论上任何颜色都可以用红绿蓝三种基本颜色混合而成。有RGB888、ARGB8888、RGB565等格式(Android)
RGB565:共16比特,占2个字节。G站6位是因为人的眼睛对绿光最为敏感,可表示颜色数为2^16 = 65536色。
RGB888:共24比特,占3个字节,可表示颜色数为2^24 = 1677W。
ARGB8888:共32比特,占4个字节,可表示颜色数为2^32。
7.3 YUV表示方式
对于视频帧的裸数据表示,更多的是YUV数据格式,主要应用于优化彩色视频信号的传输,使其向后兼容老式黑白电视。相比RGB它最大的优点在于只需要占用极少的频宽(RGB要求三个独立的视频信号同时传输)。8
Y:Luma 明亮度,也称灰阶值,以前的黑白电视,是只有Y信号而没有UV信号。
UV:Chroma 色度,色彩及饱和度,用于指定像素的颜色。 “色度”定义了颜色的两个方面——色调(Cr)与饱和度(Cb)
Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异
Cb反映的则是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
7.4 YUV采样格式
主流有如下三种
YUV 4:4:4 采样
YUV 4:2:2 采样
YUV 4:2:0 采样