The Linear Monge-Kantorovitch Linear Colour Mapping for Example-Based Colour Transfer 论文理解
背景:图像编辑中调色是很常用的,一点颜色差别就能造成照片的整体风格相差很大;在视频电影拍摄中也比较常用,譬如统一时间不同的光线拍出的感觉是有很大差别的。
早期有直接使用一对一颜色映射的方式,后来又提出了基于局部信息进行颜色分级的方法,以及本论文研究的基于示例的颜色统计信息匹配的线性变换方式。
这篇论文针对所有的线性变换建立了一个通用的数学理论基础,并提出了一个新的线性变换方式(Linear Monge-Kantorovitch Linear Colour Mapping)MKL,这个方法能够最小的改变颜色数量。
线性变换的数学理论
线性颜色映射主要就是找到合适矩阵T。
(1)是计算变换后的图像:输入图像u颜色变换后的图像等于矩阵T乘以去均值后的输入图像,再加上示例图像v的均值。
(2)矩阵T符合的要求:输入的图像u的协方差经过T的线性变换后等于示例图片v的协方差
T的具体推导计算方式如下
由上式可以得到TA = B,即T =BA-1 。
A和B分别表示u的协方差Σu 和和v协方差Σv 的平方根,由于Σu 和Σv的平方根有很多组,所以有目前有很多种线性变换方式,即有多个T的方式。
上面表达式中TA = B,即TA和B都是Σv 的平方根,
各map均值、方差匹配
输入图像u的协方差Σu = diag(var(u1), . . . , var(uN ))
示例图像v的协方差Σv = diag(var(v1), . . . , var(vN ))
T =BA-1 ,A和B分别表示u的协方差Σu 和和v协方差Σv 的平方根。效果一般比较差,如果在LAB空间上效果会稍好些。
Cholesky 分解
Σu = LuLTu ,Σv = LvLTv 。Lu 和 Lv 是下三角矩阵,且对角元素都是正数。
在不同的颜色空间上,出来的差别可能会比较大。
平方根分解(SRD)
这个方法就是主成分分析的方法,把协方差的主要部分进行对齐。
这个方法是将协方差矩阵分解成了对称正定矩阵。对称正定矩阵的对称正定平方根矩阵有唯一解。Dua和 Dv 对角矩阵是由Σu and Σv 的特征值组成。
Linear Monge-Kantorovitch (MKL)
以上线性变换都存在一个问题:整个的颜色比例达到了期望,但是局部的颜色信息不太对。
在之前的基本上进一步约束了最小位移。这个算法在不同的颜色空间上差别不是很大。