图像颜色迁移专题介绍(二): Correspondence

正如上一篇博客Global Color Transfer所介绍的那样，直接建立图片到图片的全局颜色迁移，可能会出现各种映射异常。在没有考虑到语义对应的情况下，建立的颜色迁移往往不能满足要求。一个非常容易想到的改善方案，就是建立图片的语义对应区域，并根据这些对应区域提供的约束，重新设计颜色映射函数，使得在颜色迁移后，语义关联的区域能够有更准确的结果。因此，在全局颜色映射提出后的相当一段时间，研究者的重点就放在了怎样找到图片中语义的对应关系上。 

关于建立图片中的对应关系，其实一直是图像处理领域的一个重要问题。除了颜色迁移外，特征点对应，图像补全，超分辨率图像加强，语义分割等应用，均需要基于图像全局或局部的对应结果。一般来说，这种对应是基于图像的一个patch来设计，并对一定程度的旋转缩放鲁棒。在建立了patch的对应后，我们还希望把patch的邻域考虑进来，即尽可能找到图像内一个较大的，相邻的区域，建立一个更好的，具有一定形变鲁棒性的对应关系。这是建立对应的重点，也是一个难点。今天的博客就是基于2013年的一篇基于对应的颜色迁移文章[1]，来谈一下基于对应的颜色迁移算法框架设计。各位，点个赞吧，忙里偷闲写博客真心不容易......

1. Patch-Based Correspondence

文章[1]中对于对应的建立是简单直观的，可以概括为一个两步结构。第一步，直接建立patch对应，第二步，扩展patch对应到区域对应，使path连接成一个相对连续的区域。

首先，我们先来介绍下如何建立patch对应。很简单，就是根据几个标准的参数，在一个标准的patch上，计算一个度量值。当度量满足某一个特定的相似条件时，即判断为两个块为对应关系。这一步被称为Nearest-neighbor search。

S表示原图像，R表示参考图像，u表示为S中的一个patch，T表示一个表换，使得在该变换下，得到其在R中的一个对应。需要注意的是，这个变换包含多个参数，如位置，旋转，缩放，bias 和 gain。位置旋转缩放是比较容易理解的，patch到patch对应，应该具有一定的刚性变换鲁棒性，因为原图像和参考图像毕竟不是同一副图，难免会有刚性变换的影响。这里需要注意的是bias和gain。bias和gain直接翻译过来是偏差和增益的意思。因为原图像和参考图像极可能具有不同的光照于配色方案（这是当然的，因为我们希望把参考图像的配色方案迁移到原图像），在此基础上计算语义对应，需要考虑到局部的，内蕴的偏差变量。这里实际上使用到了和global color transfer一样的方式，即通过均值于均方差比值来评价偏差增益。

关于建立对应的，更加详细的实现方案，可参看文章[2]。

在获得了patch的对应关系后，我们希望把patch连接成一个连续的区域。该过程称为Aggregating consistent regions。

设u和v是S的两个patch，Tu和Tv是两个由S向R的变换。按照上面的公式可以计算出一个邻接评价值，当这个值小于某一个阈值时，即认为这两个块具有关联关系。

在获得了相邻关系后，我们要在两个相临块约束的一个区域，进行二次检测，以确定这个区域的其他像素，满足一定的约束，以避免出现错误的区域对应判断关系：

C(Z)就是在这个区域进行二次检查的一个判断函数，以确定基于相临块约束的一个区域是否满足邻接的关系。如果满足，则将其扩展为一个连续的区域。如下图所示：

图1.patch对应到连续区域对应示意图。

文章[1]良心的给出了各个参数在实际中选择，如下：

在这里我由一个好奇的地方，如果把人脸识别加进来，建立对应，是不是效率会更高一些？有兴趣的同学可以回头试试。

2. Global color mapping

基于对应， 接下来就要给出color mapping或transfer的方案。基本上，是一个基于parametric model的优化方案，在实现对应区域的颜色迁移的同时，尽可能同步的优化非对应区域的颜色迁移，以实现整体上更加协调，语义对应关系更好的颜色迁移结果。整个优化方案通过对四条曲线进行操作，分别是RGB三通道曲线以及饱和度曲线。这个和图像基础知识有一些关系，这里用一些说明图来直观的呈现不同的曲线调整对图像信息的影响。

图2.RGB单通道颜色曲线（红色）对图像颜色的影响。 

图3.饱和度单调递增对图像颜色的影响。

通过对RGB参数曲线以及饱和度的联合优化，并针对对应区域进行，这样就能够得到比global color transfer效果好很多的结果。曲线的拟合使用的是三次样条函数。

总结

基于对应的颜色迁移算法，能够实现语义关联的颜色迁移，这样能够得到更加精确的，具有语义一致性的颜色迁移结果。但是该方法缺点同样显著：如果参考图片与原图片没有明显的语义关系，就是做一个一般性的颜色迁移，那么该方法所提供的一切针对关联关系计算所获得的优势将全部丧失。我们不可能假定用户拥有一组语义一致的图片作为备选。因此，如何建立没有语义关联的，同时又能够得到基于内容优化过的颜色迁移，是自2015年之后，颜色迁移领域的一个及其重要的研究方向。在下一篇博客中，我们将介绍该方向最有代表性的工作。有兴趣的同学记得关注老甘呀。

Reference

[1] HaCohen Y, Shechtman E, Goldman D B, et al. Non-rigid dense correspondence with applications for image enhancement[J]. ACM transactions on graphics (TOG), 2011, 30(4): 1-10.

[2] C. BARNES, E. SHECHTMAN, DB. GOLDMAN, A. FINKELSTEIN. 2010. The generalized PatchMatch correspondence algorithm. In Proc. ECCV, vol. 3, 29–43.