图像合成：Multi-scale Image Harmonization

Multi-scale Image Harmonization

在图像合成、拼接、纹理合成等图像处理应用场景中，不仅仅是需要实现背景图像内容间的无缝融合，还需要保证合成图像真实性，前面提到的 泊松融合仅考虑到了图像在融合区域梯度场的约束，能很好的融合背景图像和前景图像的图像内容，但由于前景图像与背景图像本身还存在图像风格、纹理、噪声等方面的差异，得到的融合图像会缺乏真实感，如下图中b所示，在融合区域缺乏背景图像本身的纹理信息，人工合成的痕迹明显，基于此，这篇问题提出了一个多尺度图像融合算法，使得融合后的图像与背景图像在图像风格、纹理、噪声等方面也保持一致，已增加融合结果的真实性。

Overview

记想要协调图像风格的源图像为$I^s$，需要将其融合进去的目标图像为$I^t$，原图像即为前景目标图像，目标图像即为背景图像，由于光线、噪声、后期图像处理等诸多影响图像视觉感知的因素的差异，即使通过无缝的alpha融合或者泊松融合，都难以达到合成后的图像与目标图像在图像风格上的一致，受1995年发表于siggraph的论文《Pyramid-Based Texture Analysis/Synthesis》的影响，试图通过建立图像金字塔来进一步对齐源图像与目标图像的图像风格。
分别建立源图像、目标图像、均匀噪声图像的金字塔，然后通过匹配源图像和噪声图像与目标图像间金字塔对应层级间的直方图，这一步的目的就是协调源图像与目标图像风格，最后从直方图匹配过后的金字塔子带中重建完成图像风格协调的源图像，并用Alpha Matting或者泊松融合，完成对源图像和目标图像的融合。

本文协调算法框架

首先是图像金字塔的分解，本文采用Harr小波分解来构造源图像、目标图像、噪声图像的金字塔，记对应的Harr滤波器为$f_1、f_2、f_3、f_4$，源图像、目标图像的子带系数为：
$$\begin{array}{rl}{B}_i^s& =f_i\star I^S\\ B_i^t& =f_i\star I^t\end{array}\text{\hspace{1em}(1)}$$
金字塔层数为$n$的话，每个金字塔共有$3n+1$幅子带图像，有$3n$层高频层，1层低频层，在《Pyramid-Based Texture Analysis/Synthesis》一文中已经重点讨论了金字塔内每层子带图像的统计信息与图像外观件的密切关系，因此参照此纹理合成的方法，通过将源图像金字塔子带图像与目标图像做直方图匹配来协调源图像与目标图像存在的风格差异，协调后源图像的子带系数做如下表示：
$$B_i^h=histmatch(B_i^s,B_i^t)\text{\hspace{1em}(2)}$$
上图所示的协调算法框架，输入图像不仅有源图像和目标图像，还有一个噪声图像也需要与目标图像做直方图匹配，这是因为目标图像与源图像之间可能还存在噪声、纹理等细节信息的差异，需要通过匹配噪声图像与目标图像间的直方图来进一步模拟目标图像的噪声、纹理信息，即协调后的子带图像为：
$$T_i^h=B_i^h+N_i^h\text{\hspace{1em}(3)}$$
其中 N i h N^h_i