Aptina MT9M114 1.26M camera spec 学习

MT9M114是出自ON半导体公司的CMOS (CMOS与CCD的区别) digital image sensor, active-pixel array是1296 (H) × 976 (V)=1.26Mp.

关键参数

Parameter	Typical Value	中文解释
Optical Format	1/6-inch	摄像头感光芯片sensor成像区的尺寸。在同等像素的情况下，optical format越大，则成像效果越好，但是芯片的价格会变高，而且摄像头模组的尺寸会变大
Active Pixels	1296 (H) × 976 (V) = 1.26 Mp	effective pixels是总像素数，而active pixels才是有效像素数，实际上CCD边缘像素由于遮挡等原因不能有效的将光转为电荷，因此是无效的，有效像素数active pixels总是少于总像素数effective pixels
Pixel Size	1.9 um × 1.9 um
Color Filter Array	RGB Bayer
Shutter	Electronic Rolling Shutter (ERS)
Input Clock Range	6–54 MHz
Output MIPI Data Rate Maximum	768 Mb/s
Max. Frame Rate	30 fps Full Res 36.7 fps 720p 75 fps VGA 120 fps QVGA
Supply Voltage: Digital Analog I/O PLL PHY	Voltage: 1.7−1.95 V 2.5−3.1 V 1.7−1.95 V or 2.5−3.1 V 2.5−3.1 V 1.7−1.95 V

camera sensor 架构

Sensor Core

MT9M114的Sensor Core由1.2Mp active-pixel矩阵组成，每个像素是由(R,Gr,Gb,B)中任何一种单色组成的，用10bit存储每个像素，这种叫Bayer格式，每个像素支持独立的模拟增益和数字增益。

关于如何从复合光，经过滤镜过滤出单元色 (Bayer Pattern)，光信号转换成电荷信号，经过ADC转化为数字信号(CCD相机)，参考引用部分。

IFP

IFP包含一组优化的算法来改善图像的质量。

MCU

MCU通过专有的总线和各个模块连接，MCU的固件可配置IFP和Sensor core内部所有的寄存器。

System Control

System Control包括两个部分，phase-locked loop (PLL) 和 i2c 接口。

PLL可调节外部的时钟，让camera支持各种解析度和帧率。

i2c 接口连接MCU和主CPU, 让主CPU可以访问和控制MCU内部的寄存器以及在Ram中的变量，以便调节内部的一些自动算法。

Output Interface

output interface block可选择输出raw data还是经过IFP处理过的数据。图像数据提供给主CPU可通过8-bit并口，也可以通过串口MIPI。但是一次只能选一种接口.

8-bit并口可提供8-bit RGB data，也可提供10-bit Bayer data。

并口Parallel Port

从MT9M114 sensor core readout是逐行扫描的，有效的图像是由horizontal
blanking 和 vertical blanking包围的区域，该区域的大小是可编程的，如图3所示。
MT9M114输出的数据是由PIXCLK同步的，如图7所示，当LV为高电平的时候，每2个PIXCLK对应到一个像素，即分别对应到P[9:2]和P[1:0]，总共10bit/pix。

串口Serial Port

camera典型的i/o口

sensor control

sensor core中的数据是逐行被读出的，以固定的帧率形成像素流。对于M*N的像素矩阵，从第一行开始，对于每一行，依次先reset a raw, read out a row。在reset一行后，该行的pixels收集环境光，然后readout该行，中间的时间间隔就是exposure time.

图9是Sensor Core框图。当一行被选择后，每一列的数据需要经过一串模拟处理流程，包括offset correction, gain adjustment和ADC. sensor core的最后一步是转化ADC的输出为10-bit 数据/pixel.

sensor core包含多个控制和状态寄存器，用来控制senor行为，包括解析度，曝光时间，增益设置，这个寄存器由MCU firmware控制，主CPU也可通过i2c串口访问。

sensor core不同的readout选项

sensor core支持不同的readout选项，可以在发送给IFP前，指定一些readout选项,来实现特定的功效。

通过修改readout direction，可实现：
flip: 图像180度颠倒
mirror: 图像左右颠倒
flip&mirror: 图像既180度颠倒也左右颠倒
具体可参看camera sensor readout position(flip/mirror)
。

通过编程设置row/column的开始和结束地址，可控制输出图像的大小。

skiping效果：

IMAGE FLOW PROCESSOR

从上图可以看出，流经IFP的像素数据源有2个，一个来自sensor core, 这是正常的情况，另一个是来自IFP内部的test pattern产生器。

正常情况下，mcu自动调整IFP内部的参数.

Digital Gain(数字增益)

每个像素值乘以一个可编程的值，每个color channel可独立配置对应的digital gain.

shading correction(阴影校正)

镜片lens周边因为光线变弱，容易形成阴影。MT9M114内部的shading correction模块会统计各个像素(R, Gb, Gr, and B)的阴影状态，根据不同情况进行补偿。

defect correction(缺陷校正)

处理的数据还是one-color-per-pixel，

Color Interpolation(色彩插值)

color interpolation 模块转化one-color-per-pixel数据流为three-colors-per-pixel数据流，通过从周边的像素吸取其它的颜色，形成RGB的复合色。

Color Correction(颜色校正)

[1] Aptina MT9M114 datasheet
[2] CCD相机
[3] Bayer Pattern
[4] CMOS与CCD的区别
[5]ISP算法有大招
[6]ISP算法概述
[7] 好色之图 | 揭开图形信号处理的面纱，看背后的大学问
开篇之作
[8] 好色之图 | CMOS成像如何接近人眼感受效果？图像亮度暗藏ISP算法玄机
图像亮度篇
[9] 好色之图 | CMOS成像如何模拟人眼色彩感受？ISP算法有大招
图像色彩篇