Hierarchy Flow For High-Fidelity Image-to-Image Translation

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本项目提出一种基于Hierarchy Flow的模型实现更好的图像翻译保真效果，将Image2Image 翻译问题分为三个级别：强保真翻译、正常保真度翻译和弱保真翻译，表明保留了原始图像的内容的程度。

1）首先揭示了标准基于Hierarchy Flow的模型在应用于 Image2Image 翻译时的缺点。
2) 提出了一种新的设计，即可逆特征变换的分层耦合和多尺度建模，以构成Hierarchy Flow。
3) 最后，提出了一个专用的对齐风格损失，以更好地权衡翻译过程中内容保存和风格化。
代码和模型在 https://github.com/WeichenFan/HierarchyFlow 上。

---

一、相关介绍

首先图像信息的内容保存在 IMAGE2IMAGE 翻译中仍然是一个具有挑战性的问题。本文考虑基于Flow的模型，也称为归一化流，这是一种深度生成模型的子类，它通过具有完全可逆变换的基本块链来学习数据分布的确切可能性，这可以很好地适应图像生成中内容保存的要求。ArtFlow是第一个在I2I翻译中使用基于流的模型的工作，特别是在样式转移任务中。它证明了基于流的模型在无损和无偏特征提取和图像重建解决“内容泄漏”问题方面的优势。然而，尽管与其他方法相比，ArtFlow实现了更好的内容保存，但它在翻译图像中存在严重的棋盘伪影问题(见图2)。通过进一步调查了棋盘问题，最后将其根本原因确定为在基于流的多尺度架构模型。因此，希望设计一个新的框架，该框架可以利用基于流的模型在 I2I 翻译的内容保存方面的优势，并避免像 ArtFlow 中那样的棋盘伪影问题。

本文提出了一种新的基本块设计，称为层次耦合层，用于有效的特征转换和多尺度建模。在我们的模型中，特征提取是以分层的方式进行的，可以通过前向过程中的一系列减法耦合操作逐渐去除风格特定的特征，使用自适应实例归一化通过将源特征的统计信息（特征的均值/std向量）替换为目标特征的统计数据来对深度特征进行转换。最后，通过网络的反向传递生成翻译后的图像。
该项目是第一个同时评估高水平（如GTA到城市景观）和低水平（如微光增强）视觉任务的I2I翻译工作，并在这两个领域都取得了优异的结果。将这项工作的贡献总结如下：1）根据内容保存的需求，将图像到图像的翻译任务分为强保真度翻译、正保真翻译和弱保真翻译三个子集。2） 揭示了I2I翻译任务中基于流的模型的主要缺点，并提出了Hierarchy Flow，这是一种用于非配对高保真图像到图像翻译的新颖设计。3）设计了一种新颖的对齐样式损失，用于有效的内容保留特征转换。4） 证明了Hierarchy Flow在广泛的实验中表现出逼真和生动的风格。

二、相关工作

1.模型结构

如图所示，Hierarchy Flow，这是一个基于Flow的模型，具有一个名为层次耦合层的新的基本块设计。通常，给定一组图像（Is，It），一系列层次耦合层对源图像Is进行编码，以获得前向网络推理中的源特征。将目标图像输入到样式网中以获得样式特征。之后，使用AdaIN进行风格特征转移，以融合源特征和风格特征，最后通过网络的反向传递进行图像重建，生成翻译图像。在模型中，网络架构被精心设计为完全可逆。因此，结合AdaIN，可以实现I2I翻译，并保留所需的内容。

2.相关算法

通过将挤压操作和仿射耦合层结合在一起，层次耦合层能够在一个块内进行复杂的特征转换和多尺度建模，而无需空间挤压。相反，使用沿着通道维度的分层减法来以可学习的方式实现空间特征融合和转换。如图2算法1和2分别显示了正向和反向通过的细节。

通过分层耦合的设计，可以在每个基本块内实现多尺度特征转换和融合。因此，可以很容易地直接堆叠多个块来实现更复杂的网络建模，而无需像以前基于Flow的方法那样进行空间压缩，因为自适应空间融合已应用于每个块内部。尽管在网络设计上很简单，但它在高保真翻译任务中表现出了很大的改进，可以更好的内容保存和无伪图像生成。

3.损失函数

损失函数的计算包括内容损失和对齐损失，主要公式如图3所示

三、相关效果图

---

总结

本文将图像到图像的翻译问题分为三个层次：强翻译、正常翻译和弱翻译。提出了一种新的可逆网络Hierarchy Flow，用于高保真图像到图像的转换，具有专用的对齐样式损失。定性和定量结果表明，模型在翻译过程中获得了更好的内容保存，并在高保真翻译任务中取得了最佳性能。