ISP(Image Signal Processor),即图像处理,主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了摄像机的成像质量。它分为独立与集成两种形式。
一般情况下,配备独立ISP的手机,在图像处理方面有更大的优势,且随着手机摄像头像素的提高,高速连拍,全高清甚至4K录制的加入,手机对ISP的处理性能要求越来越高。
不少主打拍摄功能的厂商都在手机当中加入了独立ISP,例如魅族MX3就采用了富士通四通道ISP,官方宣称其传输速度提升两倍,能完美实现每秒25张连拍,使其拥有卓越的图像处理能力,综合拍摄性能相对于MX2来讲有了较大的进步。主打自拍功能的MeituKiss手机,在全球范围内首次为前置摄像头配置了独立ISP芯片(图像信号处理器)。这款来自富士通的高端芯片有着出众的噪点和色彩还原能力,被广泛应用于数码相机等专业领域。
下图是图像信号处理主要流程:
(1)黑电平校正(暗电流校正)
暗电流指传感器在没有入射光的情况下,存在一定的信号输出,这是由于半导体的热运动造成的,它的大小和传感器结构及温度有关,大概每升高9 ℃,其暗电流会增加1 倍。由于每个像素存在不平衡性,因此像素间暗电流也会不一致,造成电流噪声。一般情况下,在传感器中,实际像素要比有效像素多,像素区最靠边的行和列为不感光区,一般用作自动黑电平校正,其平均值作为校正值。
(2)颜色插补
原始像素只包含一种颜色的信息(R 或G 或B),要重建色彩画面,就必须从相邻的像素中得到失去的信息。红色及蓝色插补一般遵循最近原则,进行平均处理,作为本像素的色彩值,由插值原理知,相邻像素间存在依赖关系,结果造成画面锐度降低。
(3)颜色校正
由于人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别,还有透镜等的影响,插补后得到的RGB 值颜色会存在偏差,因此必须对颜色进行校正,一般通过颜色校正矩阵来实现。具体的彩色矫正参数,可以通过试验或从传感器供应商中获得,当然要得到不失真的还原是不可能的,只能反复调试达到最佳。一般通过标准色卡进行校正。