1.1.4 去马赛克
数字相机,为了降低成本和复杂性,通过单色sensor覆盖CFA(颜色滤波排列)的方式采集图像。许多CFA发展了起来,但最通用的还是Bayer模式。这个简单CFA,用以表征人类视觉系统特征(与其他主要颜色相比人眼对绿色最敏感),包含红蓝像元2倍数量的绿色像元。Sensor提供空间上的欠采样颜色通道(Bayer模式下有3种)信息,所有的颜色信息通过颜色插值算法(去马赛克)重构得到。去马赛克是非常关键的任务。这个步骤会产生许多令人讨厌的人造现象,严重影响图像质量:拉链效应,伪色,摩尔效应等。简单通道间插值算法(如,双线性,三次方)不太好用,更多先进的解决方案(通道间)被发明出来,基于空间域和频域。嵌入式设备中这些算法的复杂度必须较低。去马赛克往往不能完全消除伪色和拉链效应,因此图像处理流程中经常包括旨在去除残留人造现象的后处理模块。更多去马赛克算法介绍详见第7章。
1.1.5 颜色矩阵
颜色矩阵子系统,也被叫做颜色校准,目的在于将采集设备的颜色响应转换到标准颜色空间。通常使用ITU-R BT709指导下的标准RGB(sRGB)颜色空间。因为sensor的光谱灵敏度函数和想要的颜色空间是不匹配的,所以进行转换是有必要的。矫正公式通常如下:
A是3x3矩阵,RGBin和RGBout是颜色矩阵处理前后的图像。矩阵系数不是通过有效响应获取的,通常根据现实采集通过最优化方式得到。此外通常需要遵从白色保护限制,限制如下(详见第5章):
1.1.6 图像格式
Sensor采集的数据必须能被协处理器或主机微处理器进行处理,因此两个系统必须共有一个通信协议和数据格式。此外,在图像生成pipeline的末端图像需要在标准格式下进行编码,这样图像在任意外设中都可读。通常sensor以bayer格式提供采集的图像。之前bayer数据都是以私有格式和协议进行存储和传输的。这种解决方案就存在缺点:每一个客户都需要设计相同的私有接口用以管理sensor数据。在过去的几年间,从事生产,购买或定义相机模组的主要公司提出新的标准,移动图像结构标准(SMLA)。它允许Sensor和不同销售商的主机间的互联。
考虑到协处理器的输出,几个标准格式都是可用的。对于静态图片最常用的格式是有损压缩的JPEG和无损压缩的TIF。对于尖端相机sensor的输出可直接被保存。这种情况下,通常采用私有的文件格式(如,尼康电子图像格式(NEF),佳能裸数据文件格式(CRW),等)。对于视频而言最常用格式标准为Motion JPEG,MPEG-4,H263和H264。
第11章介绍主要数据格式。此外会介绍一些有关压缩因素控制和错误隐藏技术。压缩因素控制目的在于使文件大小尽可能接近目标值,而错误隐藏在于处理字节流中的错误尝试恢复丢失的信息。