基于深度学习的Image Inpainting (图像修复)论文整理与概述

最新推荐文章于 2024-08-05 17:59:48 发布

临江轩

最新推荐文章于 2024-08-05 17:59:48 发布

阅读量9.4k

点赞数 6

分类专栏：阅读笔记文章标签：图像修复论文

本文链接：https://blog.csdn.net/weixin_39880579/article/details/90483202

版权

本文整理了从2016年至2018年关于图像修复的几篇重要论文，包括Context Encoders、High-Resolution Image Inpainting、On-Demand Learning for Deep Image Restoration和Image Inpainting for Irregular Holes Using Partial Convolutions。这些研究通过深度学习模型如Encoder-Decoder、CNN、GAN等，解决图像大范围损失修复、高清图像补全和不规则形状缺损等问题，部分工作还引入了全局和局部一致性判别器以提高修复质量。然而，这些方法仍存在纹理细节丢失、高分辨率修复困难等挑战。

摘要由CSDN通过智能技术生成

为个人需要，整理一波这方面的论文。同时也参考了山水之间整理的结果，非常感谢。

1. 《Context Encoders: Feature Learning by Inpainting》

CVPR 2016

链接：https://arxiv.org/abs/1604.07379

Github代码：

基于torch：https://github.com/pathak22/context-encoder

基于pytorch：https://github.com/BoyuanJiang/context_encoder_pytorch

主要贡献：

提出了基于上下文像素预测驱动的无监督视觉特征学习算法，通过利用周围图像信息来推断损失部分的图像信息。其贡献点在于对于大范围图像损失，传统方法已经无法满足修复要求，作者首次提出了基于CNN和GAN的修补方法，首次较好地解决了大范围图像损失修补问题。

主要思路：（CNN+GAN）

通过结合Encoder-Decoder网络结构和GAN，利用L2损失（Reconstruction Loss）和对抗损失（Adversarial Loss）来修复图像。Encoder-Decoder结构用来学习全局图像特征和推断损失部分，GAN部分用来判断预测推断的图片和真实图片。不过一个主要的区别是，这里GAN只固定Generator，试图通过极大化Loss来训练更强的Discriminator。当GAN无法区分两者的区别时，则默认为网络模型参数已经达到最有状态。