译Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis

https://blog.csdn.net/wangxc_123/article/details/76096082

基于马尔科夫随机场和卷积神经网络组合的图像合成（Image Synthesis）

摘要 
这篇文章研究了用于生成2D图像的生成马尔科夫随机场模型MRF和有分辨能力的已训练的深度卷积神经网络dCNNs的组合。生成马尔科夫随机场模型作用在dCNN的高层特征上，在抽象层次控制了图像的布局。我们在照片和非照片上都使用了这个方法进行合成任务。MRF正则项（regularizer）阻止了过激失真artfacts，减少了dCNN中常见的倒置inversion的方法中的不合理的implausible特征混合，增加了合成照片内容的合理性。和标准的MRF-based纹理合成不同，这个组合的模型可以在相当大的可变性下匹配和适应原图特征，产生远非经典生成马尔科夫模型的结果。

1.介绍（略）

我们的论文增强了Gatys的框架，通过用一个维持图像纹理风格的MRF正则项来代替统计学重的克莱默矩阵匹配。

2.相关工作

神经网络图像合成

MRF_based图像合成

3.模型

我们讨论用于生成图像的组合MRFs和dCNNs的模型。我们假设我们有一个风格图像，记为xs∈Rws×hsxs∈Rws×hs，和一个内容图片xc∈Rws×hsxc∈Rws×hs作为指导。待合成的图像被记为x∈Rws×hsx∈Rws×hs。我们转化风格xsxs到内容xcxc的布局，通过使高层的神经译码xx和xcxc相似，但是使用和xsxs相似的斑纹。后者是MRF优先的，维持风格的译码。正式的，xx将下列的能量函数最小化了： 

x=argminxEs(ϕ(x),ϕ(xs))+α1Ec(ϕ(x),ϕ(xc))+α2γ(x)x=arg⁡minxEs(ϕ(x),ϕ(xs))+α1Ec(ϕ(x),ϕ(xc))+α2γ(x)

EsEs 记为风格损失函数（MRFs限制）,在这里 ϕ(x)ϕ(x) 是 xx 取自网络中一些层的特征图像。 EcEc 是内容损失函数。它计算了生成图像和内容指导图像的特征图像之间的平方距离。就像[7,20]中写的那样，最小化 EcEc 生成了一个在结构脉络上和内容图像相关的图片。附加的正则项 γ(x)γ(x) 是在重建上进行平滑优先的。接下来，我们解释这些项在细节上是如何定义的。 MRFs损失函数 将 ψ(ϕ(x))ψ(ϕ(x)) 记为所有从 ϕ(s)ϕ(s) 中抽取的原图纹理列表，一系列 xx 的具体特征图。每一个中性纹理被索引为 ψiϕ(\mathrx)ψiϕ(\mathrx) ，形状为 k×k×Ck×k×C ，这这里k是path的宽和高，C是这一层卷积核的个数。我们定义能量函数为： 

Es(ϕ(x),ϕ(xs))=∑i=1m∥ψi(ϕ(x))−ψNN(i)(ϕ((xs)))∥2Es(ϕ(x),ϕ(xs))=∑i=1m‖ψi(ϕ(x))−ψNN(i)(ϕ((xs)))‖2

这里m是 ψ(ϕ(x))ψ(ϕ(x)) 的基数。从每一个path ψi(ϕ(x))ψi(ϕ(x)) ，我们反响最好的匹配path是 ψNN(i)(ϕ(x))ψNN(i)(ϕ(x)) ，使用规范化交叉相关系数在所有 ψ(ϕ(x))ψ(ϕ(x)) 的 msms 例子path中：

NN(i):=argminj=1,...,msψi(ϕ(x))ψ˙j(ϕ(x))⏐ψi(ϕ(x))⏐∙⏐ψi(ϕ(x))⏐NN(i):=arg⁡minj=1,...,msψi(ϕ(x))ψ˙j(ϕ(x))⏐ψi(ϕ(x))⏐∙⏐ψi(ϕ(x))⏐

我们使用规范化的交叉相关系数来实现可靠的不变形。这个匹配过程可以被一个附加的卷积层十分高效的执行。注意到，虽然我们使用规范化的交叉相关系数来寻找最好厄匹配，他们的欧式距离在式2中最小化，以生成一个看起来和参考风格香精的图片。 
内容损失函数 ： EcEc 指引了图片的内容合成，通过最小化 ϕ(x)ϕ(x) 和 ϕ(xc)ϕ(xc) 之间的平方欧几里得距离： 

Ec(ϕ(x),ϕ(xc))=∥ϕ((x))−ϕ((xc))∥2Ec(ϕ(x),ϕ(xc))=‖ϕ((x))−ϕ((xc))‖2

正则化 在网络的图像识别训练过程中，有很多有意义的底层图像信息丢失了。因此，从神经中译码进行图像的重建会有很多的噪声和不自然处。因为这一原因，我们惩罚平方梯度范数来将合成的图片平滑化： 

γ(x)=∑i,j((xi,j+1−xi,j)2+(xi+1,j−xi,j)2)γ(x)=∑i,j((xi,j+1−xi,j)2+(xi+1,j−xi,j)2)

最小化 我们使用借助L-BFGS的反向传播来最小化等式1。特别的， EsEs 关于特征图的的梯度是在 ϕ(x)ϕ(x) 和他们使用的来自于 ϕ(x)sϕ(x)s 的MRFs-based重建块之间的逐元求导。这样一个重建是重要的纹理优化过程， 使用神经网络块而非像素块。这对在神经层次的MRF能量优化是非常重要的，因为传统的像素基础的纹理优化将不能产生可比较的生成结果。 
权重 α1α1 和 α2α2 分别是内容约束和自然图像约束的系数。我们是前者为0，来进行无指导生成。默认的，我们让前者为1进行风格转化，虽然使用者也可以很好的调试这个值，来修改内容和风格。后者固定为0.001.