泊松图像编辑

摘        要

本文利用泊松方程的一般性添写机制，介绍了一系列无缝编辑图像区域的新型工具。第一套工具允许所有透明和不透明的源图像区域插入目标区域的无缝输入。第二套工具是基于类似的数学思想，允许用户在选定的区域内无缝连接地修改图像的外观。这些变化是受纹理，照明，和对象所在区域的颜色，或矩形选择区的影响来设置的。

关键词：交互式图像编辑  图像梯度  引导插值  泊松方程 无缝克隆 选择编辑

  

1. 介绍
   1. 背景问题与本文的结构安排

图像编辑任务是，关注全局变化（颜色/亮度更正，过滤器，变形），或者限制于已选区域的局部变化。在这里，我们感兴趣的是所获得的局部变化，一是可用无缝和毫不费力的方式限制的手动选择区域。这种变化范围的程度是从轻微扭曲到由新的内容完全更换。经典工具的实现方法包括各种定义所选区域图像过滤器，这些过滤器有的是为了轻微的变化而定义，有的是为了完全替代而利用的互动式剪切和粘贴的克隆工具。这些经典的工具，改变了所选的区域导致可见的接缝，它仅仅可以部分地隐藏，随后，通过对所选择区域的边界洇润以达效果。

我们在这里提出一种通用机制，该机制是从无缝编辑和选区克隆的不同工具得到的。此方法的核心数学工具是涉及狄利克雷边界条件的泊松偏微分方程。狄利克雷边界条件是在感兴趣的领域连同域边界未知函数的值所指定的一个未知函数的拉普拉斯算子。此动机是双重的。

首先，一个众所周知的心理表明[Land and McCann 1971]通过拉普拉斯算子抑制强度的慢梯度，可叠加在几乎没有明显的效果的图像上。相反，第二阶变化所提取的拉普拉斯算子是最容易被感知的。

第二，一个有界域的标量函数事由它边界上的值和其在内部的拉普拉斯算子唯一限定的。因此泊松方程具有唯一解，这会得出一个健全的算法。

所以，利用给出的方法起草一个未知功能的多一些区域的拉普拉斯算子以及它的边界条件，泊松方程能够在数值上求解出值以实现无缝填充该区域。这可以独立地在每个彩色图像的频道中被复制。求解泊松方程也可以另外地解释为一个最小化问题：它在L2范数内以某些指定的矢量场（引导矢量场）下给定的边界条件计算梯度最接近的函数值。以这种方式，跟随导向磁场的空间变化尽可能接近地在重建函数内插入边界条件。第2节将给出引导插入的细节。

我们将考察许多可能选择的指导矢量场。我们发现，特别是该内插机制都在易用性和功能性方面利用了经典克隆工具。所得的克隆允许用户无缝连接地删除和添加对象。通过适当地混合源图像与目标图像的梯度，能够令人信服地添加透明物体。此外，与复杂的轮廓的对象包括漏洞也能够自动添加而不需要进行艰苦的切割。这些不同的克隆设施列于第3节。

第4节中，相同机制也可以用于修改受限域内的图像的外观，同时又避免了域边界上可见的不连续性。特别是颜色，纹理，或物体的照明可以很容易地不需要任何精确划定地改变对象边界。而且，一个矩形图像区域可以无缝平铺。

1. 1. 相关工作

泊松方程已被广泛地用于计算机视觉。它的出现自然是由于必要地解决方案中的某些变化问题。在具体背景图像编辑应用程序中前三个部分的工作是相关的，都是使用了这里提出的泊松方程。

[Fattal et al. 2002]高动态的梯度场范围（HDR）图像非线性地重新缩放，产生一个不再是梯度场矢量字段。然后获得一个通过求解泊松方程与此分歧矢量场作为右侧和诺伊曼 边界条件下指定梯度的值新的图像，此新图像在法线方向的边界是零。相反，我们在这里建议的方法可以应用到从图像中选择的任意补丁，而不是对整个图像。为了做到这一点，在一个矩形轮廓内，诺伊曼边界条件必须可在任意轮廓内取代狄氏条件。进一步的推广是延长适用于梯度的非线性运算范围，包括最大的操作和抑制小梯度，这两者都具有有用的编辑功能。

[Elder and Goldberg 2001]，系统通过一组边缘元素引入编辑的稀疏图像。为了抑制对象，相关edgels被删除;然后添加一个对象，相关联的edgels以及在每个这些edgels的两侧颜色值被并入。新的图像，通过插入值获得相关联的新组edgels的平滑的颜色。此相当于解决一个给出狄利克雷边界条件周围edgels颜色的拉普拉斯方程（空右侧的泊松方程）。编辑edgels和相关的颜色不总是简单的。此外，图像细节在转换时会丢失，图像细节的轮廓域也有可能丢失，这可能是不希望的。该稀疏的基本edgel的表示的确是不完整的，而不是基于相关代表性的小波极值[Mallat and Zhong 1992]，它们是完整的，但不适合于手动编辑。

 [Lewis 2001],通过从所选区域中分离亮度分量并且通过亮度所在选择框的谐波插入值替换亮度（解决一个拉普拉斯方程）的方法，把斑点是分离从毛皮的图像中去除。

在图像的编辑功能方面，作为我们系统的基本实例有两个目前的技术可以实现无缝克隆。第一个是Adobe Photoshop 7的修复画笔[Adobec 2002]。尽我们所知，使用这种技术的工具尚未公布。因此，我们不知道它是否采用了泊松解算器。

第二种方法是多分辨率图像融合，此建议来自[Burt and Adelson 1983].该想法是使用一个多分辨率表示的，即一个感兴趣图像的拉普拉斯金字塔。源图像区域的内容被混合，每个分辨率波段与其新的周边目标图像相互独立。最终的合成图像是回收通过加入了不同层次的新的复合拉普拉斯金字塔而获得的。该技术的结果是多分辨率混合，最细微的细节都非常平均围绕本地选择的边界，而较低的频率被混合在围绕这些界限更大的间距。这种快速的技术实现了在目标区域（在第一级拉普拉斯金字塔）源的近似插入拉普拉斯算子，而我们通过执行此拉普拉斯的插入确切地解决泊松方程。更重要的是，多分辨率混合从遥远的源和目标像素集成数据，经由金字塔的上层，最终复合材料中图像。这种长范围的混合，这可能是不希望的，不会出现在我们的技术中。此外，我们的系统提供了除了不透明的无缝克隆的扩展功能，见第3和第4部分。

最后，而我们提出了一个指导插值框架，以及根据用户进行特殊的指导，例如，在在无缝克隆的情况下的一个源图像的形式，仅使用边界条件的知识，提出了自动填充的图像区域的不同插值方法。第一类这样的办法是由修补技术组成的[Ballester et al. 2001; Bertalmio et al. 2000]，其中PDEbased插值方法被设计得就像持续的等照度击中所选择的区域边界。解决偏微分方程比泊松方程更加复杂，并且工作只为弥合相当狭窄的缝隙相对无纹理的区域。例如，基于插值的方法[Barret and Cheney

2002; Bornard et al. 2002; Efros and Leung 1999]，此方法中新的图像区域是由许多小的一个有趣选择的排列合成补丁补画的。这些方法

处理大孔和纹理边界更有说服力。此外，它们也可以用于导入纹理如所示[Efros and Freeman 2001; Hertzmann et al. 2001].

图1：引导插值符号。未知函数f在域W上在矢量场V的指导下插入目标函数f*，这可能是或不是源函数g的梯度。

1. 引导插值的泊松解决方案
   1. 引导值

在本节中，我们使用指导矢量场详细介绍图像插值。因为它足以解决分别用于各个颜色成份的问题的插值问题，我们假设它只有标量图像的功能。图1说明了这个表示：让S，R 2的一个封闭子集，作为图像定义域，并让W表示S的边界¶W一个封闭的子集。设f*是已知在定义下W的标量函数，减去W内部，让f作为一个未知的标量函数德定义在W的内部。最后令v作为一个向量定义在W外部。

在W外最简单的插值F和F*是膜插值，定义为最小化问题的解：

时梯度操作。最小值必须满足相关的欧拉 - 拉格朗日方程

是拉普拉斯操作。等式2是拉普拉斯方程等照度线边界条件。

对于图像编辑应用程序，这个简单的方法产生不理想，插值模糊，并且这可以以各种方式来克服。一种是使用一个更复杂的差分方程中修补[Bertalmio et al. 2000]。这条路线建议这里修改成通过引入进一步约束指导场的形式，就像下面解释的那样。

向导磁场是矢量场V的上面最小化问题（1）的的一个扩展版本：

其解决方案是下述Dirichlet边界条件泊松方程的唯一解：

是

的分支，这是彩色图像泊松编辑的基本设备：（4）中的3个泊松方程用所选择的色彩空间的三色通道独立解决。本文中所有的结果，是在RGB颜色空间中获得的，但类似的结果也可以在CIE-Lab获得。

当向导用磁场v是保守的，即，它是一些函数g的梯度，另一种对理解有帮助的方法是泊松插值确实是定义在W上如f= G +F的校正功能f。泊松方程（4）就成为下面拉普拉斯方程边界条件：

因此，在W内部，添加修正值f是不匹配的沿着边界¶W的源和目的地之间的膜插值（F*-g）。引导插值这个特定实例在第3节是用于无缝克隆。

1. 1. 离散泊松求解

变分问题（3），以及相关狄氏边界条件（4）的泊松方程可以分散并在许多方面得到解决。

离散的图像的问题自然可以离散地使用底层离散像素网格。不失一般性，我们将为连续对象及其离散同行保持同样的表示法：S，W现在变成定义在无限离散网格有限制点集。注意，S能包括的所有像素图像或它们的一个子集。对于S中的每个像素p，让Np成为S中4个相连邻域的集合，并让<p,q>表示一个像素对使得q属于Np。 W的边界现在是

。让FP是f在P值。该任务是计算

强度的集合。

对于定义在一个任意形状的边界的Dirichlet边界条件，最好是直接分离变分问题（3），而非泊松方程（4）。有限差分（3）可以得到以下离散，二次优化离散问题：

是

在导向边界[p,q]上的投影，即，

它的结果满足下面的联立线性方程：

W包含S边界的像素，这发生在例如当W延伸到像素网格的边缘，这些像素

有一个截断附近，如

。注意，P在W内部，即，Np→W，在（7）的右侧没有边界条件，可理解为：

方程（7）形成一个经典的，稀疏（条带状），对称，正定的系统。由于边界¶W是任意形状的，我们也要跟着使用知名迭代求解。本文中显示的结果已经使用连续的超松弛高斯 - 赛德尔迭代或V循环的多重网格计算出结果了。这两种方法的速度已经能够足够快地于中等尺寸的彩色图像中进行交互式编辑区域了，例如，奔腾4上的每个系统上的盘形区域60000像素用时0.4s。这源自[Bolz et al. 2003]，对GPU较大的地区多网实现提供多种解决方案。

1. 无缝克隆
   1. 导入渐变

指导场V的基本选择是直接从源图像采取的梯度场。g表示源图像，插值可以用下面公式导出：

现在（4）可以表示为：

图2：隐藏。通过导入一块无缝的背景，完整的对象，对象的部分，和不希望的人工痕迹可以容易地隐藏。在这两个例子中，使用了多个笔画（未示出）。

至于数字实现中，连续规范（9）转化为:

将被插入到（7）中。

由此获得的无缝克隆工具，确保合规源和目标的界限。它可用于掩盖不期望的图像功能，或插入一个新的图像元素，但比传统克隆更灵活和易用，如示于图2-4。从用户输入的角度看，大多数任务将只要求非常宽松的套索选择，如图所示实例图3。然而，当源的功能在目的地中不得不要与相应的特征均衡时，如在源和目标区域的定位必须更精确的图2示例（排列在底行）或图4（排列在顶行）。最后，在无缝克隆及主要片纹理的情况下，如在接触的表面的图2（顶行）图4的纹理互换示例（底行），反复应用广泛刷子笔触是更有效的方式。

为诱导插值过程全局更改，应该保持源图像的全部内容。在某些情况下，最理想的是传送源内容的一部分。此问题的常见实例是图案的强度从源转移，而不是颜色。一个简单的解决方案是将源图像预先变成单色，参见图5。

1. 1. 混合梯度

用前一节中所描述的工具，没有一丝的目标图像的F保持内部W.然而，在有些情况下，期望与这些g结合的F特性，例如，在一个纹理或杂乱的背景上以带孔添加对象，或者部分透明。

例子示于图6，其中的文本层是要剥离源图像并应用于目标图像，而不需要复杂的选择操作。一种可能的方法是定义向导用磁场V作为一个线性组合源和目标梯度场，但该具有的效果洗出的纹理，见图6。

然而，泊松方法允许非保守要使用向导磁场，从而使范围有更引人注目的效果。在每个点处的W，我们在F或g中保留了变化的强度，使用下面的式子导出：

图3：插入。该方法的功效充分表达把复杂轮廓的插入对象变成一个新的背景。因为源和目的地之间的急剧差异的，标准图像的克隆不能在这种情况下使用。

图4：功能交换。无缝克隆允许用户很容易地通过可选的功能替换一个对象某些功能。这被使用在纹理的第二示例交换多个粗线条（未示出）。

本指导场对应的离散式子的是：

适用于所有的<p，q>。此向导磁场的影响表现在

图5：单色传输。在某些情况下，如纹理转移，无缝克隆后剩余的部分源颜色的可能是不希望得到的。这是固定的预先转动源图像单色。

图6：插入的对象带孔。 （a）的经典方法，基于颜色的选择和阿尔法屏蔽可能是费时而且往往留下一个不良的光晕; （B-C）无缝克隆，即使与原始图像保持均衡，效果并不太好; （d）基于一个松散选择的混合无缝克隆，有效。

图7：插入透明物体。混合无缝克隆有助于部分透明的对象，如在本实施例的彩虹的转移。梯度场的非线性混合在每个位置挑出取其源或目的地的结构是更突出的。

加入从源图像非常接近另一个对象的目标图像中的一个对象时，该混合无缝克隆也是有用，参见图8。

图8：插入一个对象接近到另一个。无缝克隆，在目标图像中的物体触摸所选

区W渗出了进去。渗出是通过使用混合梯度作为向导磁场抑制的。

1. 1. 选择性编辑

在前面两个部分，指导场依赖在源图像克的梯度场的部分或全部。或者，图像变换可以通过使用根据完全在原始图像上的向导磁场来限定。基于这个想法，本节详细讲述纹理扁平化，空间选择性光照变化，背景或前景颜色变化，以及无缝拼接。前两个效应在所选择的区域的原始梯度场中依靠非线性改变。后者的影响依赖于无缝克隆后的原来的形象已经改变了的内部域，此内部域提供了新的源图像，或在外部提供了新的边界条件。

1. 1. 定质地变平

图像梯度通过一个稀疏筛，保留只有最显着的特征：

其中，M是在感兴趣的几个位置开启情况下的二进制掩模。

对于M来说一个很好的选择是一个边缘检测器，在这种情况下，（14）的离散形式被插入到（7），将是：

应用于所有的<p,q>。如图9所示，该选择W的含量得到一个扁平的外观，与小粒细节冲了出去，主体结构被保存。这种影响的程度显然取决在筛上的稀疏性上。更多的选择是所述稀疏边缘图的边缘检测器，并且有更明显的效果。

需要注意的是泊松编辑这种情况下具有较强的连接与更早的和Goldberg [El-der and Goldberg 2001]轮廓域编辑系统。不同的是，我们指定大致在通过稀疏的式子（14）的边缘的位置的梯度矢量，而他们的系统依赖于确切的每个edgel的两侧特定的颜色值。

1. 1. 局部照明的变化

正如作者[Fattal et al. 2002]指出不限于HDR图像并能被应用到普通图像以顺利修改其动态范围。首先，将梯度视场的图像的对数的被变换，以便减少大的梯度，并增加小的。经变换的矢量场V然后用于重建图像，f的对数，通过求解诺依曼边界条件下的泊松方程的整个图像域。

图9：纹理压扁。通过只在边沿位置保留梯度，用泊松求解积分之前，洗出所选择的区域的纹理，给它一个较为平坦的内容。

一个自然的延伸，是修正限制在选定区域W，采用适当的狄利克雷条件¶W。使用Fattalet等人化简的翻译版本[Fattal et al. 2002]，向导磁场在区域的定义为：

a =0：2倍的平均梯度范数在f和W上，B =0：2。如图10所示，此工具可用于例如纠正感兴趣的下曝光对象，或以减少镜面反射。

图10：局部照明的变化。施加适当的至梯度场非线性变换的选择内然后整合背部采用了泊松解算器，本地修改的图像的表观照度。这是亮点下曝光前景对象或者减少镜面反射非常有用的手段。

1. 1. 局部颜色变化

泊松编辑也是一种强大的工具，用于操纵颜色。定的原始彩色图像和选择W，该图像的两个不同颜色的版本可被无缝地混合：一个版本从W提供目的地函数f，另一个根据（10）提供W'内被改变的源函数g。

例如，车削一切在图像单色除了一些感兴趣的对象的任务将是古典的

图11：局部颜色变化。左：原始图像显示选区Ω宽松的围绕着感兴趣的对象;中：背景通过设置g为原始彩色图像和对g的亮度进行f*函数来完成脱色;右：对象原始图像的RGB通道分别乘以1.5,0.5和0.5来对感兴趣的目标的重新着色以形成所述源图像。

图12：无缝拼接。使用泊松积分进行积分之前，对矩形区域的边界设置周期边界值来产生一个平铺图像。

通过精确地选择一个对象，然后设置其互补为单色来执行。与此相反，泊松图像编辑把用户从乏味的精确选区释放出来：给出了图片g的原始颜色，（a）目标图像f是设置g的亮度通道而得，（b）用户选择一个包含对象的区域W，而这可能会比实际对象稍大，然后（c）通过泊松方程式（10）溶解在每个颜色通道。例子如图所示。11。注意的是，虽然结果似乎提供了对自由对象的精确分割，而实际并非如此，因为对象以外的目标图像中仍有一些残留的污染。

相反地泊松图像编辑图像编辑可以被用来修改一个粗略的选定对象的颜色。求解泊松方程（10）之前，原始图像被复制到存入f，而修改了颜色的版本被复制到源g，参见图11。

1. 1. 无缝拼接

当W域是长方形的，其内容可以通过执行泊松积分的周期性边界条件来进行平铺。源图像g为原始图像，并从g的边界值派生出边界条件，使得该矩形域的相对侧对应于相同狄利克雷条件而得。图12，我们选择了f north = f south = 0:5(gnorth +gsouth),，东部和西部的边界线同样如此。

1. 结论

使用指导插值的通用框架，我们推出了多种工具来编辑无缝和轻松方式的图像选择的内容。可能变化的程度范围取代，或与另一种混合源图像区域，对原有的一些方面的改变图像的选择，例如纹理，光照，或彩色的内部。所有这些工具的一个重要的共同特点是，该解决类似任务的工具与经典的对比无需精确的对象划分。这是一个有价值的功能，无论是问津的小触摸式操作或复杂的照片蒙太奇。

尽管在本文中没有示出，很明显，克隆第3节中所描述的设施可以与编辑组合那些在第4节介绍这是例如可以插入一个对象，而压扁它的质地，使之匹配的风格纹理无目的地。

最后，值得一提的是，编辑设施范围衍化本文来自同一个通用框架可能概率，巧妙地进一步扩大。外观的变化可以例如还应对感兴趣的对象的锐度，从而允许用户使焦点的明显变化。

参  考  文  献

[1] R. Basri and D. Jacobs. Lambertian reflectance and linear subspaces. PAMI, 25:218–233,2003.

[2] A. Beck and M. Teboulle. A fast iterative shrinkagethresholding algorithm for linear inverse problem. SIAM Journal on Imaging Sciences, pages 183–202, 2008.

[3] L. G. Brown. A survey of image registration techniques. ACM Computing Surveys, 24(4):325–376, 1992.

[4] E. Candes, X. Li, Y. Ma, and J. Wright. Robust principal component analysis? preprint, 2009.

[5] V. Chandrasekaran, S. Sanghavi, P. Parrilo, and A. Willsky. Rank-sparsity incoherence for matrix decomposition. preprint, 2009.

[6] M. Cox, S. Lucey, S. Sridharan, and J. Cohn. Least squares congealing for unsupervised alignment of images. In CVPR, 2008.

[7] M. Cox, S. Lucey, S. Sridharan, and J. Cohn. Least-squares congealing for large numbers of image. In ICCV, 2009.

[8] F. de la Torre and M. Black. A framework for robust subspace learning. IJCV, 54(1-3):117–142, 2003.

[9] F. de la Torre and M. Black. Robust parameterized component analysis: Theory and applications to 2D facial appearance models. CVIU, 91(1-2):53–71, 2003.

[10] M. Fazel, H. Hindi, and S. Boyd. Log-det heuristic for matrix rank minimization with applications to Hankel and Euclidean distance matrices. In ACC, 2003.

[11] B. Frey and N. Jojic. Transformed component analysis: Joint estimation of spatial transformations and image components. In ICCV, 1999.

[12] B. Frey and N. Jojic. Transformation-invariant clustering using the EM algorithm. PAMI, 25,2003.

[13] E. Hale, W. Yin, and Y. Zhang. Fixed-point continuation for l1-minimization: Methodology and convergence. SIAMJ. On Optimization, 19:1107–1130, 2008.

[14] G. B. Huang, V. Jain, and E. Learned-Miller. Unsupervised joint alignment of complex images. In ICCV, 2007.

[15] G. B. Huang, M. Ramesh, T. Berg, and E. Learned-Miller. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. Tech. Report., U. Mass. Amherst, pages 07–49, 2007.

[16] E. Learned-Miller. Data driven image models through continuous joint alignment. PAMI, 28:236–250, 2006.

[17] Z. Lin, A. Ganesh, J. Wright, L. Wu, M. Chen, and Y. Ma. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix. UIUC Technical Report UILUENG-09-2214, 2009.

[18] J. B. A. Maintz and M. A. Viergever. A survey of medical image registration. Medical Image Analysis, 2(1):1–36, 1998.

[19] Y. Nesterov. A method for unconstrained convex minimization problem with the rate of comvergence o(1/k2). Doklady AN USSR (translated as Soviet Math. Docl), 1983.

[20] Y. Nesterov. Smooth minimization of non-smooth functions. Math. Program., Serie A, pages 127–152, 2005.

[21] J. P.W. Pluim, J. B. A.Maintz, andM. A. Viergever. Mutualinformation-based registration of medical images: a survey. IEEE Trans. on Medical Imaging, 22(8):986–1004, 2003.

[22] K. Toh and S. Yun. An accelerated proximal gradient algorithms for nuclear norm regularized least squares problems. preprint, 2009.

[23] A. Vedaldi, G. Guidi, and S. Soatto. Joint alignment up to (lossy) transforamtions. In CVPR, 2008.

[24] A. Wagner, J. Wright, A. Ganesh, Z. Zhou, and Y. Ma. Towards a practical face recognition system: Robust registration and illumination by sparse representation. In CVPR, 2009.

[25] J. Wright, A. Yang, A. Ganesh, S. Sastry, and Y. Ma. Robust face recognition via sparse representation. PAMI, 31:210–227, 2009.