第一部分 摘要和引入
这篇文章属于间接光源估计的颜色恒常性算法,就是通过估计图像光照的颜色,再将光照颜色去除,从而获得没有色偏的图像(可结合图1理解)。主要思想是将光源估计转换成一个判别任务(discriminate),而不是生成任务 (generate)。
图1
这里具体解释一下生成和判别。在传统的颜色恒常性方法里,例如gray-world是计算像素平均值作为图像光源的颜色,max-RGB是计算像素最大值作为图像光源颜色,这些都是通过图像中的统计学特征,直接生成了光源颜色,这样的就是生成任务。所谓判别任务,就是并不指定光源颜色要怎么直接计算,而是判断图像是白平衡还是非白平衡。(在这里,我个人的理解是判断色度直方图上哪些点是接近光源颜色,哪些点是和光源颜色差距很大。这样的判别模型训练好后,输入一张偏色图像,就可以在色度直方图上找到最接近光源颜色的点,作为估计的光照颜色。关于色度直方图后面会具体描述。)
作者之所以有这样的想法,是因为可以将图像转换到色度空间(色度直方图),在这个二维平面上,寻找哪一个色度是光源的颜色,这个让作者想到目标识别方面的算法。
第二部分 图像组成
公式(1)中,I是相机拍摄的图像,W是物体的反射属性(真实颜色),L是光源的属性。相机拍出来的图像是物体和光源共同作用的结果。对于偏色图像,已知的只有I,需要根据偏色图像I估计光源颜色L,从而得到物体本身的颜色W。
公式(2)(4)中给出的是从rgb空间向uv色度空间转换的公式 (不理解的可以去看看LUV颜色空间)。公式(5)是通过2、4推导来的,可以用来解释在色度空间,偏色图像色度减去光源色度得到物体本身颜色色度。
这里还给了一个亮度计算公式,在第三部分计算色度直方图的时候会使用到。
第三部分 Learning
首先进行色度直方图的定义。
公式(7)是对像素点色度值进行了统计,并加上像素点的亮度作为权重。例如M(u0, v0),后半部分方括号里面,是指对于像素点i,如果其u, v值与u0, v0很接近,相差在ε/2内,就计数为1,否则计数为0。在前面乘上该像素点的亮度值作为权重。N(u, v)是对M(u, v)进行归一化再开平方根。所生成的色度直方图的图形表示如图2:
图2
第二行是色度直方图,横纵坐标分别是u, v,亮度值代表该u, v值对应的像素点个数,像素点个数越多,亮度值越大,也就对应像素点越亮。在一个色度直方图中,会考虑所有的色度值组合,并对它们进行打分,得分最高的色度值即为预测光源的色度值。打分函数也就是对色度直方图进行卷积,是直方图中每个值的线性组合。从a\b\c这三张图中还可以看出,在rgb三通道的颜色值上的缩放,在色度直方图上会表现为点的平移。这三张图形状没有差别,只是光源颜色不同导致这些图形在色度直方图上位置不同。
公式(10)是损失函数的定义。其中,N(u, v)是归一化之后的图像色度直方图;P(u, v)是N(u, v)经过卷积F之后得到的预测光源色度直方图;C(u, v, u*, v*)定义了光源色度之间的差距,也就是错误估计的光源导致的损失。下面这张图是C的可视化,圆圈圈出来的部分是真实光源色度值,越亮代表越接近真实光源,损失C越小,越暗则代表损失C约大。所以损失函数最小化可以理解为,越接近真实光源的地方,C越小,那么权重P可以大一些;而远离真实光源的地方,C越大,权重P越小。那么训练好模型后,输入一张偏色的图像,其色度直方图经过卷积得到P,P中值最大的点,就是最接近真实光源的点,我们将这个点的色度作为估计光源的色度。这个方法也是类似于分类问题,找到概率最大的一个类别,作为预测的标签。
图3
除此之外,作者还使用生成模型和这个判别模型进行了对比,生成模型的损失函数见公式(12)。使这个函数最大化,就是使越接近真实光源的地方权重越大。(其实这里我不是很理解下面的公式)。作者得到生成方法和判别方法的F并将它们可视化,可视化的结果在图4中。从这个结果中可以看出,生成方法这是可以突出最亮的那个点,也就是哪个最接近真实光照,但是判别方法还可以拉开差距,不仅可以突出最亮,还进一步判别哪些点可能性极小,也就是图中黑色暗色的点。最终的模型训练和光源估计过程见图5.
图4
图5
第四部分 efficient filtering 高效滤波
文章中卷积采用金字塔结构,一共有7层(下采样使用双线性差值),每一个都用5*5的小卷积核进行卷积,在中心有高质量的细节,远离中心的区域有粗略的内容。
图6
第五部分 generalization
这个方法中,输入是色度直方图,本质上还是图像的统计信息,和gray-world等方法一样,都将图像视作一包的像素(“bag” of pixels),是没有空间信息的。所以现在不再仅仅对原图像的色度直方图进行卷积,而是构造一系列Ij , Nj , 这些Ij 是原图以及它的增强图像(”augmented” images),将这些图像经过卷积后的结果求和,再输入softmax。
下面说明使用的是哪些augmented images。由于每个通道像素值的缩放必须准确映射到色度直方图上的偏移,因此要保留标量乘法,也就是说scaling操作和filtering操作的先后顺序不影响结果。并且因为要计算log,输入需要是非负值。
公式(13)中,blur是盒子滤波操作(box filter),这里表示的是求和之后再归一化。ρ=2 时,h表示的即为局部标准差。
第六部分 results
数据集用的是color checker和cheng等提出的数据集,第一个是1个相机拍摄的568张图片,第二个数据集是8个相机拍摄的1736张图片(是同一个场景被8个相机拍8次)。使用的是3折交叉验证(3-fold cross-validation),也就是将数据集分为3份,2份用作训练,1份用作验证,循环3次。