[camera]remosaic算法

remosaic算法

1.QCFA介绍

我们熟悉的CFA(color filter array)，如RGGB这种排列方式，称为Bayer阵列。但是随着拍照效果的要求越来越高，Quadra CFA阵列被制造出来，他可以提升在弱光条件下的性能和信噪比，提供更加明亮和清晰的图像，而在正常光照条件下也能提供更高分辨率的图像。

这种功能是通过两种工作模式来实现的，以16MP的 Quadra CFA sensor为例，在弱光条件(暗态)或者预览模式下，启动Binning mode，这时16MP被转换成4MP，即所谓的4 in 1，这样相当于将四个像素点的光照集中到一个super pixel内，故能够得到更加明亮清晰的图像或更快的处理速度；而在正常光照(常态)下，启动Non-binning mode，仍然是16MP，但是注意到此时的CFA必须转换为传统的Bayer阵列才能送入ISP pipeline处理，此时就需要remosaic算法技术来将Quadra CFA处理成Bayer CFA。如图所示：

其中，从原始的4cell1像素排布，还原成普通拜耳（Bayer）结构的过程，称之为Remosaic。

从上面的介绍的可以知道，remosaic算法是做在sensor output和ISP pipeline之间的，因此这部分可以通过stack sensor中的ISP（硬件）自行处理，也可以通过在平台pipeline前通过软件算法实现。

但是，由于算力的限制，一般软件算法仅适用于拍照模式，预览模式实时的remosaic还不能实现；硬件比软件的remosaic在处理速度上会快很多，硬件Remosaic可以支持full size Bayer预览，然而手机端是否要用full size去预览还需要综合考虑功耗等其他因素。

2.crosstalk校准

4cell1的芯片像素，由于所处位置的不同，每个像素点的crosstalk不同导致感光能力有一定差别，如下图所示。

细心的朋友可以发现左图的实拍图里，有许多锯齿状格子等伪色，主要原因是由于芯片本身硬件感光及Remosaic所造成的，为优化这种现象，通常需要引入Crosstalk校准。

Crosstalk校准工具，通常将全图分成多个ROI方块，计算各像素通道的能量并确定其补偿数据，芯片再使用这些校准数据让原本不均匀状态的能量分布变得更为平衡。

比如一场十年后的同学聚会席间要开启一瓶好酒，但是倒酒时又需要将这瓶好酒均匀分给每一朋友，这个时候我们可以通过将这杯酒水互补的方法，即酒多的匀倒给酒少的，这样大伙儿就都能享受到一样的好酒。

补充：4cell1芯片还会涉及到PD补偿，坏点补偿等其他的内容，而整个流程，通常需要先补偿PD点，再做Crosstalk校准，然后再Remosaic成为正常的Bayer去应用。针对软件的Remosaic，这其中所有的步骤，通常都封装在芯片厂商提供的一个算法库里面，手机端调用该算法库，去实现4cell1芯片，兼具常态时候的高分辨率和暗态时候的高感光度，然后你就可以美美地拍照了。
参考链接