nb_200821_2020_cvpr_photo restoration

Bring Old Photos Back to Life
2020 cvpr

0. 摘要

• 本文解决的问题是：对受损老照片恢复成清晰照片
• 传统方法采用合成图像进行监督学习，由于真是图像的退化原因复杂，且与合成图像的分布相差大，因此难以很好的泛化
• 本文提出方法：
  • 训练两个 变分自编码器（variational autoencoders，VAEs)，用于分别将老照片和清晰照片转换至隐藏空间；
  • 然后使用合成的成对照片数据来训练这两个空间之间的变换关系；
  • 为了分别处理照片中的多种退化形式，设计两个分支结构，且两个分支在隐藏空间中融合，从而增强模型处理多种照片污染瑕疵的能力：
    • 一个局部分支模块来解决结构化的瑕疵，包括擦伤、灰尘点等；
    • 一个全局分支模块用于非结构化的瑕疵，包括噪声、模糊等。

一. 简介

• 过去的老照片由于保存不善和自然原因会受到损伤，过去对数字化后的老照片进行手动修复往往耗时耗力，本文通过算法自动化解决这一问题。
• 深度学习之前的算法通过检测局部瑕疵（非结构化）并填充丢失信息来恢复图像，而无法解决全局瑕疵。
• 常见的深度学习网络能够进行一些低层次的图像修复，但无法进行老照片修复，原因有二：
  1. 没有一个退化模型可以真实的渲染出老照片，因此利用当前模型合成的老照片数据训练的网络难以在真实数据中泛化；
  2. 老照片图像退化类型多样：
  • 非结构化瑕疵 是全局的，且空间同质（spatial homogeneous）的，因此需要利用近邻像素来修复；（如胶片颗粒、乌贼效应、照片褪色、模糊、低分辨率等）
  • 结构化瑕疵 是局部的，需要利用整体图像上下文来修复。（如擦伤、灰尘点、空洞等）
• 因此，本文将老照片修复问题定义为一个三域转换问题，且构建两个模块分别处理上述两种类型的图像退化。
  • 三域：真实老照片real、合成老照片syn及其对应的gt。步骤：
    1. 训练一个 变分自编码器（variational autoencoder，VAE) 将real和syn转换到相同的 隐藏空间（latent space， ls） ls1 中；
    2. 训练第二个 VAE，将gt转换到相应的 ls2 中；
    3. 通过syn和gt的训练数据，来学习两个ls之间的映射关系，此即损坏图像（corrupted）到清晰图像（clean）之间的修复关系。
  • 由于real和syn通过第一个VAE进行了对齐，因此域映射能够更好的从合成训练数据泛化到真实图像中。

二. 相关工作

A. 单一退化图像修复

• 针对非结构化退化的：
  • 传统方法（2010年前）往往提出先验假设，包括：非局部自相似（non-local self-similarity）、 稀疏性（sparsity）、局部平滑性（local smoothness）。
  • 基于深度学习的方法主要有三类：图像去噪（denoising）、超分辨率(super-resolution)、去模糊（deblurring）
• 针对结构化退化的：
  • 难度大，常以 图像修补 问题建模。
  • [37,2018] 通过cnn提取hole区域，从而使得网络只提取 non-hole 区域的特征。
  • [38,2018][39,2019]除了利用局部块的统计信息，还部署注意力层（attention layer）来提取远程上下文，以利用全局结构进行修补。
  • [40,2019]通过估计外观流（apearence flow），从而可以直接在块内合成hole区域的纹理。
• 以上方法都直接基于合成图像来训练，因此对真是图像的泛化能力严重依赖合成数据的质量。

B. 混合退化图像修复

• [41][42]主要针对非结构化退化，且直接利用合成图像训练：
  • [41,2018,cvpr]提供了一个工具箱，其中包含针对各种退化种类的轻量级网络。然后在训练一个控制器来从工具箱中选择操作。
  • [42,2018]与[41]思想类似，在网络中并行构建不同的卷积操作，再利用注意力机制(attention mechanism)来选择最合适的操作组合。
• [43,2018,cvpr]是无监督学习的方法，它发现了DDN与低层次图像数据统计之间的相关关系，以此作为先验条件直接进行图像修复。有很强的潜力

C. 老照片修复

• 典型的混合退化图像修复问题。
• 现有的方法主要是传统方法（2005年前），集中于修补问题（结构化退化），根据周围区域纹理来修补缺失部分。