让老照片重现光彩（三）：完整论文的中文译文

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目的论文地址：https://arxiv.org/abs/2004.09484

完整论文的中文译文如下：

（论文中文译文的PDF文件可以到百度网盘下载：

https://pan.baidu.com/s/1cOYEVjGhMDml1D0Kx5_Esw 提取码: xruq）

翻译：闪闪·Style

 

让老照片重现光彩

（香港城市大学，微软亚洲研究院 2020）

 

我们建议通过深入学习的方法恢复严重退化的旧照片。与传统的有监督学习方法不同的是，真实照片的退化是复杂的，合成图像与真实旧照片之间的 域间隙使得网络无法进行泛化。因此，我们提出一个新的三重态域翻译网络，利用真实照片和大量合成图像对。具体来说，我们训练两个变分自动编码器（VAEs）来分别将旧照片和干净照片翻译为两个潜在空间。利用合成的成对数据学习这两个潜在空间之间的翻译。这个翻译很好地推广到真实照片，因为在紧凑的潜在空间中， 域间隙是闭合的。此外，为了解决一张旧照片中混合的多个退化问题，我们设计了一个全局分支，其中部分非局部块（partial nonlocal block）针对结构化缺陷，如划痕和灰尘斑点，局部分支针对非结构化缺陷，如噪声和模糊。两个分支在潜在空间融合，从而提高了从多个缺陷恢复旧照片的能力。该方法在旧照片恢复的视觉质量方面优于现有的方法。

1. 介绍

照片的拍摄是为了冻结那些原本已经逝去的快乐时光。纵然时光流逝，人们仍然可以通过观看来唤起对过去的回忆。尽管如此，旧照片在恶劣的环境条件下保存会变质，这会导致有价值的照片内容永久受损。幸运的是，随着移动摄像头和扫描仪的普及，人们现在可以将照片数字化，并邀请一位熟练的专家进行修复。然而，手工修整通常是费时费力的，这使得成堆的旧照片无法恢复。因此，设计能够即时修复旧照片的自动算法对于那些希望恢复老照片的人来说是很有吸引力的。在深度学习时代之前，有一些尝试[1,2,3,4]通过自动检测局部缺陷（如划痕和瑕疵）恢复照片，并使用修复技术填充受损区域。然而，这些方法都侧重于对缺失的内容进行补齐，没有一种方法能够修复空间上均匀的缺陷，如胶片颗粒、乌贼纹、褪色等，因此与现代摄影图像相比，复原后的照片仍然显得过时。随着深度学习的出现，人们可以利用卷积神经网络强大的表示能力，即学习特定任务的映射，来解决各种低级图像恢复问题[5, 6, 7, 8, 9, 10, 11, 12]。利用卷积神经网络强大的表现能力，即从从大量合成图像中学习特定任务的映射。

然而，同样的框架并不适用于旧照片的复原。首先，旧照片的退化过程相当复杂，没有能够真实再现旧照片伪影的退化模型。因此，从这些合成数据中得到的模型在真实照片上的推广效果很差。第二，旧照片受到退化复合物的困扰，固有地需要不同的修复策略：在空间上均匀的非结构化缺陷，如胶片颗粒和颜色褪色，应利用邻近区域的像素进行恢复，而结构化缺陷，如划痕、灰尘斑等，则应进行修复使用全局映像上下文修复。为了避免这些问题，我们将旧照片复原问题描述为一个三重态域翻译问题。与以往的图像翻译方法[13]不同，我们利用三个领域的数据（即真实的旧照片、合成图像和相应的地面真实情况），并在潜在空间中进行翻译。合成图像和真实照片首先通过共享变分自动编码器[14]（VAE）转换到同一个潜在空间。同时，训练另一个VAE将地面真实干净图像投影到相应的潜在空间中。然后利用合成图像对学习两个潜在空间之间的映射，从而将损坏的图像还原为干净的图像。隐式复原的优点在于，学习到的隐式复原可以很好地推广到真实照片中，因为它在第一个VAE内是区域对齐的。此外，我们还区分了混合退化，并提出了一种考虑潜在特征的长程依赖性的部分非局部块来具体解决潜在翻译过程中的结构性缺陷。通过与几种主要的恢复方法的比较，证明了该方法在恢复真实照片的多次退化方面的有效性。

2. 相关工作

2.1 单退化图像恢复

现有的图像退化大致可分为两类：非结构化退化（如噪声、模糊、褪色和低分辨率）和结构化退化（如孔洞、划痕和斑点）。对于前一类非结构化的图像，传统的图像优先权通常是不同的，包括非局部自相似[15,16,17]、稀疏性[18,19,20,21]和局部平滑[22,23,24]。最近，许多基于深度学习的方法也被提出用于不同的图像退化，如图像去噪[5,6,25,26,27,28,29]，超分辨率[7,30,31,32,33]和去模糊[8,34,35,36]。与非结构化退化相比，结构化退化更具挑战性，通常被建模为“图像绘制”问题。由于强大的语义建模能力，大多数现有的最佳修复方法都是基于学习的。例如，刘等[37]屏蔽了卷积算子中的空穴区域，强制网络只关注非空穴特征。为了获得更好的修复结果，许多其他方法同时考虑局部补丁统计和全局结构。具体地说，Yu等人[38]和Liu等人[39]建议使用注意层来利用远程上下文。在Ren等人中，显式地估计了外观流。[40]从而可以基于相应的补片直接合成空穴区域中的纹理。无论是非结构化退化还是结构化退化，上述基于学习的方法虽然可以取得显著的效果，但都是基于合成数据的训练。因此，它们在真实数据集上的性能高度依赖于合成数据的质量。对于真实的旧图像，由于它们经常被未知退化的混合物严重退化，因此很难准确地描述潜在的退化过程。换言之，只对合成数据进行训练的网络将