OdellSwan的博客

一个完整的ISP pipeline流程已经走完了，运行代码中的isp_basic.m就可以看见文章中的效果，能直接看出来的两个问题是CCM和降噪做的不好，CCM需要标定，也可以借助专业的软件Imatest或者是其他的软件对色卡做色差计算。降噪的问题是力度不够，但是在YUV域做很大的降噪会损失细节，可以考虑在RAW域增加一个降噪和后面的YUV域降噪相互配合。

这篇是ISP综述，本来应该第一篇就写它，但是当时手里没有足够的文章建立起知识网，所以拖到现在才写，建立知识网是我的学习方法之一，另外两个是战略性放弃和亲自动手。我习惯用matlab，可能有些同学更习惯用C++或者python，我觉得学习算法用什么工具无所谓，用得顺手就行。黑电平（Black Level）这个概念其实在不同的位置有不同的叫法，对于sensor厂家来说，黑电平指的是OB（Optical Black），就是光学上的绝对暗区，处于绝对暗区的像素是不曝光的，OB在sensor中的排列顺序如下图4所示。

图像锐化模块是ISP中的重量级模块，它决定了ISP最终输出的清晰度，该模块一般都在Y域做，紧跟在降噪的后面，把降噪丢失的细节补充回来。

常规思路是直接把RAW图拆成R、G、B三个通道各自独立的三张图，但是在实际应用中，存在G通道不平衡的情况，简单来说光在经过滤镜的时候，由于光的能量会溢出，两个G分量会受到旁别颜色的影响，所以和R同一行的G被标记为Gr，和B同一行的被标记为Gb。效果提升了很多，但是也不算特别优秀，在帽子的羽毛处可以看出检测的结果并不是很好，羽毛处的一些边缘被标记成了坏点，此外，背景区域也有不少坏点漏检测，这说明坏点检测部分还有可以提升的空间，如果加入边缘检测辅助坏点判断，也许可以获得更好的效果。乍一看效果似乎还不错？

图1是一个特别简单的ISP，只画出了ISP的刚需模块，其中降噪是贯穿ISP的重量级模块，不同的厂家有不同的结构，但是一般来说，ISP中的图像降噪会在RAW域或者是YUV域。在RAW域做降噪的好处是噪声形态没有被改变，此时的噪声还是来自sensor的白噪声，在这个位置做降噪不能开太大的力度，如果降噪力度过大，图像中的边界和细节就会被抹平，会影响图像最终的清晰度，但是不做RAW域降噪也会有问题。回忆一下。

但是在高增益的情况下，OB的均值可能没变，但是方差变大了，这就是说OB的波动变大，此时如果还按照OB的均值来减，就有可能有较多的残余，且RGB分量会有明显的不平衡，后面再受到白平衡（Rgain、Bgain）的影响，图像暗处会偏紫。黑电平（Black Level）这个概念其实在不同的位置有不同的叫法，对于sensor厂家来说，黑电平指的是OB（Optical Black），就是光学上的绝对暗区，处于绝对暗区的像素是不曝光的，OB在sensor中的排列顺序如下图1所示。

图26中最外面那一圈标记出了光的波长，可以看见不同波长光分布的疏密程度有差别，蓝光和红光要密一些，绿色最稀疏，这意味着颜色的分布并不均匀。我们知道舌形图是XYZ颜色空间映射到X+Y+Z=1平面上的，而XYZ颜色空间是CIE通过颜色匹配实验测试出来的，它代表的是人眼对颜色的感知特性，这一定程度上说明，人眼对颜色的感知是不均匀的。

接上篇内容，。还是强调一下以下内容来自于ICCV 2023的一个PPT，名称为《Understanding the in-camera rendering pipeline & the role of AI and deep learning》。到这里需要解释一下楼主为什么要把颜色空间拿出来写这么多，因为颜色是图像处理的基础。从摄影到算法，从P图到AI，都绕不开颜色，本号是专注ISP的，ISP中的白平衡、CCM、3DLUT、图像增强等模块，都是在和颜色打交道，既然绕不过去，那就只能学。

CIE是这么做的，如图5所示，左边是测试色，右边是匹配色，匹配色是由R、G、B三个基光产生的，然后准备一个观测者，正对着观察颜色（要求视野为2度，这个角度人眼的色锥细胞最集中），然后不断的增加或者减少匹配色的三分量的比例，把这个比例记录下来，就获得了某个颜色的色匹配系数，把可见光的380nm~780nm全观测一遍，就获得了色匹配函数（图6所示）。最后得到的结果是图3中的曲线，注意这里的y轴，y轴代表的是测试光（或参考光）的匹配功率，也就是说，为了匹配参考光，source light需要调整到多大？

图2中还有一个柠檬，无论在什么光源下，柠檬都是黄色的，可以简单的理解为，如果选定黄色作为色彩平衡的目标，那么柠檬的黄色叠加光源的颜色，此时就很难分辨出光源的真实颜色了，但是如果选择白色，这个问题就不存在了。注意，光源的色温与光源本身的温度是两回事，通常两者是不相同的。也不是所有的色偏都需要被白平衡矫正，有时候色偏会让拍摄的图像呈现独特的氛围感，比如图4所示的这幅图像，给它橘色和蓝色两种不同的光源，得到的图像如图5所示，在暖光源的条件下，图像偏红，感觉更温馨，在冷光源的条件下，图像偏蓝，感觉更清冷。

按照上述公式做出的结果如图8所示，会发现图像整体的清晰度好了一些，栅栏这里看起来的边缘会锐利一些，伪彩也变淡了一些，但是边缘仍然有很多锯齿，说明需要方向插值，根据上篇文章的介绍的demosaic插值原则，这里要从已知信息更多的G分量入手，坚持不懈的继续改进。R缺少的数据要多一点，除了插值中心点，还需要插值上下和左右的像素，插值公式如（2）所示，需要注意的是，尽量用已知的像素来做插值，不要用插值后的像素做下一次插值，被插值出的像素不一定是准确的，如果再拿来做一次插值，还会引入新的问题。

关于ISP中demosaic算法的原理及插值基本思路

因为在图像中，有一个空间相似性的概念，当前pixel的亮度和其周围像素的亮度值接近的概率会高一些，离当前像素位置越远，则差异越大，高斯滤波就是基于这个概念设计的。双边的效果虽然好，但是双边的复杂度也很高，为O(Nr2)，而且随着窗口r增大，计算量会进一步飙升，有不少论文都提出了改进算法，比如一种3维网格的快速双边算法，这种网格的快速双边算法做RTL硬件实现代价太大，从这里也可以看出来，对实现来说，挑选算法的重要性，有可能改进后复杂度下降了，反而不能硬件实现了。先说结论，双边滤波对孤立点的滤波效果不好。