浅谈ISP-LSC

一．现象

如图所示是拍摄纯灰色卡时shading的具体现象，左侧称为Luma shading,右侧称为color shading。

如上右图，局部色偏的问题有很多，相较于black level或者awb等这些global的操作造成整体性的变化，shading correction 和linearization往往是只造成局部区域和某个亮度范围的偏差，本文接下来介绍一下shading correction。

二．原因分析

2.1 Lumashading原因

引起Luma shading的主要原因是镜头的光学特性决定的。即镜头中心到边缘的能量衰减，在光学模型中，光轴中心接受最大的光量，而主光角CRA处的光量最小，造成中心和四角来亮度不一致的现象。通常镜头的衰减符合：

式中θ表示的是入射光线和法线的夹角，为亮度响应。

2.2 Color shading原因

  镜头带来的color shading主要是因为不同颜色的光的折射率不同，导致白光经过镜头后，在到达成像面时分散出不同颜色的光，从而落在不同的位置，导致偏色。此外，IRcut也会引起color shading的问题。IRcut在可见光区域有较高的透过率，存在较低反射率，而在红外区域正好相反，反射率较高，透过率很低。但成角度拍摄照片时，红外光在IR膜上会有较大反射，经过多次反射后，被Sensor接收从而改变图像R通道的值，引起图像偏色问题。

2.3 CRA

Shading和CRA也有很大关系，在镜头选型和cmos选型的时候，需要考虑CRA这个参数。CRA（Chief Ray Angle），即主光角：从镜头的传感器一侧，可以聚焦到像素上的光线的最大角度被称为主光角(CRA)。对于主光角的一般性定义是：此角度处的像素响应降低为零度角像素响应(此时，此像素是垂直于光线的)的80%。（注意一般lsc矫正到达80%即可，更大时四角会有噪点）

Lens和Sensor都有各自的CRA参数，一般要求Lens的CRA曲线与senosr的CRA曲线完全匹配，即使不能匹配，也要求在同样的像高位置时CRA相差不能超过3度，最好是Lens的CRA比sensor的CRA小。否则将会导致Shading.

Sensor的CRA可以理解为：如下图，可成像在感光单元处的光线与穿过pixel单元中的Micro Lens主光轴的夹角为CRA。通常，下图coms中，右边被罩式的设计比左边前罩式的设计有更好的shading表现。

小结：

镜头CRA大于Sensor的CRA时容易出现Color shading；
镜头CRA小于Sensor的CRA时容易出现Len Shading；
建议优先保证Color Shading，因为Lens Shading比Color Shading容易调试

三．矫正方法

LSC的本质就是光学中心到边缘的衰减，所以矫正的本质就是找到一个gain值，用该点的像素值乘以这个gain值，让其恢复到衰减前的状态，。

目前矫正方法大致上分为三大类：

1. 储存增益法

2. 多项式拟合法

3. 自动矫正法

目前方法1和方法2是使用最多的。方法3据说现在厂商用的比较多，相较于1和2不用标定，使用方便，但没找到相关资料。所以本文主要以方法1和方法2进行讨论。

3.1储存增益法

3.1.1基于半径

上面有提到衰减符合cos(θ)的四次方规律，而θ在三维空间对各个方向是一致的，所以就可以用半径为变量来求出不同半径像素需要的增益。然后把半径对应的增益值储存在内存中做成lut，矫正时读取。但是不可能把所有像素的半径都存储起来，此时我们通过采样的方式提取半径的增益存储到内存，然后其他半径对应的增益可通过插值算法求出来。

3.1.2基于网格

与半径类似，这种方式是把整幅图像分成n*n个网格，然后针对网格顶点求出矫正的增益，然后把这些顶点的增益储存到内存中，同理其他的点的增益也是通过插值的方式求出。

3.2多项式拟合

多项式拟合的方式就是用半径为采样点，然后把这些采样点通过高次拟合的方式拟合成一个高次曲线，然后把高次曲线的参数储存起来，用的时候把半径带入公式就能求出对应的gain值用于矫正。此方法更加精确，也可以和存储增益法相结合较少实时计算的复杂度。

注：

1.以上方法均存在光学中心可能不是图像中心的问题，因此需要首先在图像中找出光学中心，然后以光学中心为真实中心完成标定的。

2.在进行计算lum shading的增益时，可以将四个通道拉至同一个plane，这样可避免图像的局部偏色。如下图。