图像处理6-图像泊松编辑

背景

       比较火热的短视频绿布特效其实就是用到了图像融合技术，将其中一幅图加入另一幅图中形成合成视频。一般情况下，两幅图像或多幅图像若直接涂像素融合，比较突兀感官体验上不是一体，有一种图像技术可以较为自然的将两种图像融合，它就是泊松图像编辑技术。这是一个微分方程在图像中的一个重要应用，首先提出该应用的是SIGGRAPH 2003,该文章对现在的图像编辑技术有着非常重要的影响。下面我们拆解一下其中的原理，为提高图像处理技术提供支持。本人能力有限，有错误请批评指正。

数学模型

问题描述：原图图像 $g$ 所占的区域为 $\Omega$，根据原图的梯度和目标图嵌入位置的边界结构，构建过渡区域的图像像素值无缝融合至右侧图像 $T$ 中，右侧融合部分的图像值未知需要求解，如下图所示。

符号说明：原图图像 $g$ ，梯度图是$\nabla g$，，图像$g$ 的区域范围是$\Omega$，其边界为$\partial \Omega$。合并后$\Omega$内的像素用$f$表示，$\Omega$外用$f^{\ast }$表示。即：
$$合成像素值F=\{\begin{array}{ll}f& x\in \Omega \\ f^{\ast }& x\notin \Omega \end{array}$$
对于一幅图像来说，宏观意义体现在纹理特征上，所以要让两幅图恰当无缝融合，需要将两幅图的融合部位的纹理做成一致。而纹理体现在梯度上，所以需要融合区域与原图区域梯度保持一致性。融合的纹理一致意味着 $\Omega$ 内外区域变化差异达到极小，也就是E(f)取极小值。
用公式表示为能量函数:
$$E(f)=min{\iint }_{\Omega }\mid \mid \nabla f-\nabla g\mid {\mid }^{2}dxdy$$
边界条件为： $f{|}_{\partial \Omega }=f^{\ast }{|}_{\partial \Omega }$
上式积分不容易直接求解，需要做一些简化，有2个途径，本质是相同的。

方法1:
直接使用欧拉-拉格朗日变分，对于能量$E$
$$\begin{array}{rl}E(u)=& {\iint }_{\Omega }\mid \mid \nabla u-\nabla g\mid {\mid }^{2}dxdy\\ =& {\iint }_{\Omega }\mid \mid \nabla (u-g)\mid {\mid }^{2}dxdy\\ =& {\iint }_{\Omega }(u_x-g_x{)}^2+(u_y-g_y{)}^{2}dxdy\\ =& {\iint }_{\Omega }Mdxdy\end{array}$$
这是个泛函变分问题，$u$在泛函空间取值，使得E为极小值，其中$M=((u_x-g_x{)}^2+(u_y-g_y{)}^2$。由Euler-Lagrange变分公式：
$$\begin{array}{rl}& M_u-\frac{d}{dx}\frac{\partial M}{\partial u_x}-\frac{d}{dy}\frac{\partial M}{\partial u_y}=0\\ ⟹& \frac{d}{dx}2(u_x-g_x)+\frac{d}{dy}2(u_y-g_y)=0\\ ⟹& u_{xx}-g_{xx}+u_{yy}-g_{yy}=0\\ ⟹& △u=△g=\nabla \cdot \nabla g\end{array}$$

方法2:
由于梯度算子是个线性算子，并将被积函数用内积表示，切向量作为度量，颇有几何意义，所以有：
$$\begin{array}{rl}E(f)=& min{\iint }_{\Omega }\mid \mid \nabla (f-g)\mid {\mid }^{2}dxdy\\ =& min{\iint }_{\Omega }⟨\nabla (f-g),\nabla (f-g)⟩dxdy\end{array}$$
对任意实数$ϵ>0$，取边界$\partial \Omega$上取值为0的函数 $h\in C_0^{\infty }(\Omega )$ 构成函数族 { f + ϵ ∗ h } \{f+\epsilon*h\} {f+ϵ∗h}，在$ϵ\to 0$时，能量$E$取极小值。
$$\begin{array}{rl}\frac{d}{dϵ}{|}_{ϵ\to 0}E(f+ϵ\ast h)=& \frac{d}{dϵ}{|}_{ϵ\to 0}{\iint }_{\Omega }⟨\nabla (f+ϵ\ast h-g),\nabla (f+ϵ\ast h-g⟩)dxdy\\ =& \frac{d}{dϵ}{|}_{ϵ\to 0}{\iint }_{\Omega }⟨\nabla ((f-g)+ϵ\ast h),\nabla ((f-g)+ϵ\ast h)⟩dxdy\\ =& 2{\iint }_{\Omega }⟨\nabla (f-g),\nabla h⟩dxdy\\ =& 0\end{array}$$
由微分运算关系：
$$\nabla \cdot (h\nabla (f-g))=⟨\nabla (f-g),\nabla h⟩+h\nabla \cdot \nabla (f-g)$$
将此式带入上式得：
$$\begin{array}{rl}& {\iint }_{\Omega }⟨\nabla (f-g),\nabla h⟩dxdy\\ =& {\iint }_{\Omega }\nabla \cdot (h\nabla (f-g))-h\nabla \cdot \nabla (f-g)dxdy\end{array}$$
由Stokes定理(求导与边界对偶), 又由于$h\in C_0^{\infty }(\Omega )$ , 其实梯度与切向量正交，所以被积函数第一项为0：
$${\iint }_{\Omega }\nabla \cdot (h\nabla (f-g))dxdy={\int }_{\partial \Omega }(h\nabla (f-g))ds=0$$
由 $h$ 在空间 $C_0^{\infty }(\Omega )$ 的任意性，进一步有，
$$\begin{array}{rl}& {\iint }_{\Omega }h\nabla \cdot \nabla (f-g)dxdy=0\\ ⟹& h\nabla \cdot \nabla (f-g)=0\\ ⟹& h△(f-g)=0\\ ⟹& △f=△g=\nabla \cdot \nabla g\end{array}$$

================================================================================

数值求解

待更新