CVPR 2021 论文大盘点-图像修复篇

最新推荐文章于 2024-08-11 08:48:22 发布

OpenCV中文网公众号

最新推荐文章于 2024-08-11 08:48:22 发布

阅读量5k

点赞数 1

文章标签：计算机视觉机器学习人工智能深度学习大数据

原文链接：https://mp.weixin.qq.com/s?__biz=MzUzODkxNzQzMw==&mid=2247492362&idx=1&sn=3acadb78cc39a85e335fdd44d62fb5d5&chksm=fad2cc5ccda5454a3bc814a2d877119bfd101d15b23ea8222fe594a0ee89d02049b66fb71db0&scene=126&&sessionid=0

版权

本篇文章继续总结CVPR 2021 中底层图像处理相关论文，包含图像恢复、图像修补、图像质量评价、去遮挡等。共计 20 篇。

大家可以在：

https://openaccess.thecvf.com/CVPR2021?day=all

按照题目下载这些论文。

如果想要下载所有CVPR 2021论文，请点击这里：

CVPR 2021 论文开放下载了！

Image Restoration

Multi-Stage Progressive Image Restoration

多阶段渐近图像恢复

作者 | Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao

单位 | 起源人工智能研究院；MBZUAI；蒙纳士大学；加利福尼亚大学美熹德分校；延世大学；谷歌

论文 | https://arxiv.org/abs/2102.02808

代码 | https://github.com/swz30/MPRNet

Controllable Image Restoration for Under-Display Camera in Smartphones

为了解决 UDC 图像中空间变化的模糊和噪声问题，提出一种新型的可控图像修复算法，利用像素化的 UDC 特定核表示和噪声估计器。核表示来自于一个精心设计的光学模型，该模型反映了正常和斜向光入射的影响。同时，引入噪声自适应学习来控制噪声水平，可以根据用户的喜好利用它来提供最佳结果。

实验表明，与传统的图像修复算法相比，所提出的方法在真实世界的数据集和基于显示器的对齐数据集上都取得了卓越的定量性能和更高的感知质量。

作者 | Kinam Kwon、Eunhee Kang、Sangwon Lee 、Su-Jin Lee 、Hyong-Euk Lee 、ByungIn Yoo 、Jae-Joon Han

单位 | SAIT

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Kwon_Controllable_Image_Restoration_for_Under-Display_Camera_in_Smartphones_CVPR_2021_paper.pdf

Zero-shot Single Image Restoration through Controlled Perturbation of Koschmieder’s Model

文中提出一个零样本单一真实世界图像修复模型，它利用了通过Koschmieder 模型从理论上推导出的降质属性，是第一个可用于所有应用领域的图像修复的方法。该用于去噪和水下图像修复的零样本学习方法还是第一种不需要基于先验的损失函数或正则的方法。在现实世界的图像去模糊化和水下图像修复中的表现优于或不亚于最先进的方法。另外还进一步证明改方法在低光照图像增强中的应用，其中可以采用 Koschmieder 的模型。

作者 | Aupendu Kar , Sobhan Kanti Dhara , Debashis Sen, Prabir Kumar Biswas

单位 | 印度理工学院

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Kar_Zero-Shot_Single_Image_Restoration_Through_Controlled_Perturbation_of_Koschmieders_Model_CVPR_2021_paper.pdf

主页 | https://aupendu.github.io/zero-restore

High-Quality Stereo Image Restoration from Double Refraction

立体图像恢复

作者 | Hakyeong Kim 、Andreas Meuleman 、Daniel S. Jeon 、Min H. Kim

单位 | 韩国科学技术院

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Kim_High-Quality_Stereo_Image_Restoration_From_Double_Refraction_CVPR_2021_paper.pdf

Image Restoration for Under-Display Camera

在本次工作中，专注于新定义的显示器下摄像头（UDC），作为一个新的现实世界的单一图像修复问题。首先，采用4k透明OLED（T-OLED）和手机Pentile OLED（P-OLED），并分析它们的光学系统以了解其降质情况。第二，设计一个监视器-相机成像系统（MCIS），以便更容易地获取真实对数据，并设计一个基于模型的数据合成管道，仅从显示模式和相机测量中生成点扩散函数（PSF）和UDC数据。最后，使用基于去卷积的管道和基于学习的方法解决复杂的降质问题。

改模型展示了一个实时的高质量修复。所提出的方法和结果揭示了UDC的潜在研究价值和方向。

作者 | Yuqian Zhou、David Ren、Neil Emerton、Sehoon Lim、 Timothy Large

单位 | 伊利诺伊大学厄巴纳-香槟分校；伯克利；微软

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Image_Restoration_for_Under-Display_Camera_CVPR_2021_paper.pdf

Exploiting Aliasing for Manga Restoration

本文中，提出一种深度学习方法，用于学习比例因子的漫画修复。首先为低分辨率的漫画图像预测一个合适的比例因子。利用预测的比例因子，进一步恢复高分辨率的图像，该图像具有黑白和同质的色调。在合成数据上取得了很高的准确度，并能在真实世界的案例中产生不错的结果。

作者 | Minshan Xie, Menghan Xia, Tien-Tsin Wong

单位 | 香港中文大学；中科院

论文 | https://arxiv.org/abs/2105.06830

Image Inpainting

Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE

提出一种基于分层 VQ-VAE 的 multiple-solution 图像修复方法。该方法与以前的方法相比有两个区别：首先，该模型在离散的隐变量上学习自回归分布。第二，该模型将结构和纹理特征分开。提出为结构特征的分布学习一个条件自回归网络。该网络能够产生具有高度多样性的合理结构。对于纹理生成,提出一个结构注意力模块，用来捕捉结构特征的远距离相关性。还提出两个新的特征损失，以改善结构的一致性和纹理的真实性。

在三个基准数据集（包括CelebA-HQ、Places2和ImageNet）上进行的广泛实验表明，所提出的方法在质量和多样性方面都有优势。

作者 | Jialun Peng, Dong Liu, Songcen Xu, Houqiang Li

单位 | 中国科学技术大学；诺亚方舟实验室

论文 | https://arxiv.org/abs/2103.10022

代码 | https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting

TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations

文中提出 TransFill，一种多同域转换的融合方法，通过参考与目标图像共享场景内容的另一个源图像来填补这个洞。首先通过估计由不同深度级引导的多个同构图，将源图像与目标图像对齐。然后，学习调整颜色，并对每个同传扭曲的源图像应用像素级的扭曲，使其与目标图像更加一致。最后，学习一个像素级的融合模块来选择性地合并不同的方案。所提出方法在各种宽基线和颜色差异的图像对上实现了最先进的性能，并可泛化到用户提供的图像对。

作者 | Yuqian Zhou, Connelly Barnes, Eli Shechtman, Sohrab Amirghodsi

单位 | 伊利诺伊大学厄巴纳-香槟分校；Adobe Research

论文 | https://arxiv.org/abs/2103.15982

代码 | https://github.com/yzhouas/TransFill-Reference-Inpainting

主页 | https://yzhouas.github.io/projects/TransFill/index.html

Image Inpainting with External-internal Learning and Monochromic Bottleneck

作者称这是首个将 external-internal 学习方法用于深度图像修复的工作，通过在大型数据集上进行训练，从外部学习语义知识，同时充分利用单幅测试图像的内部统计数据。设计一个渐进式的内部色彩复原网络，可实现出色的色彩化性能。将所提出的方法推广到多个深度修复模型，并在多个数据集上观察到视觉质量和模型泛化能力的明显改善。

作者 | Tengfei Wang, Hao Ouyang, Qifeng Chen

单位 | 香港科技大学

论文 | https://arxiv.org/abs/2104.09068

代码 | https://github.com/Tengfei-Wang/external-internal-inpainting

PD-GAN: Probabilistic Diverse GAN for Image Inpainting

基于 vanilla GAN，提出 PD-GAN 通过所提出的 SPDNorm 对随机噪声向量的深度特征进行调制，以纳入上下文约束。以及提出一种感知上的多样性损失，以增强网络多样性。

在基准数据集上的实验表明，PD-GAN 能够有效地生成多样的、视觉上真实的图像修补内容。

作者 | Hongyu Liu, Ziyu Wan, Wei Huang, Yibing Song, Xintong Han, Jing Liao

单位 | 虎牙；香港城市大学；湖南大学；腾讯

论文 | https://arxiv.org/abs/2105.02201

代码 | https://github.com/KumapowerLIU/PD-GAN

Image Inpainting Guided by Coherence Priors of Semantics and Textures

本文提出一个新的语义分割和图像修复的联合优化框架，利用语义和纹理之间存在的一致性先验来解决复杂的 holes inpainting 问题。为了解决不相关的纹理填充问题，提出一个语义上的注意力传播模块，以优化来自同一语义区域的预测纹理，以及两个一致性损失来约束同一图像中语义和纹理的一致性。

实验结果表明，所提出方法可以有效地生成有细致的语义结构和纹理细节。

作者 | Liang Liao, Jing Xiao, Zheng Wang, Chia-Wen Lin, Shin'ichi Satoh

单位 | National Institute of Informatics；武汉大学；台湾清华大学

论文 | https://arxiv.org/abs/2012.08054

去遮挡

Human De-occlusion: Invisible Perception and Recovery for Humans

该文针对图像中人物部分被遮挡的问题，作者提出一个两阶段框架来估计人像不可见的部分，并恢复其中的内容。

作者 | Qiang Zhou、Shiyin Wang、Yitong Wang、Zilong Huang、 Xinggang Wang

单位 | 华中科技大学；字节跳动

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Human_De-Occlusion_Invisible_Perception_and_Recovery_for_Humans_CVPR_2021_paper.pdf

代码 | https://sydney0zq.github.io/ahp/

Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration

文中提出一个端到端 DDDNet（基于Dual Pixel 的深度和去模糊网络），以联合估计inverse 深度图并从模糊的 DP 图像对中恢复清晰的图像。

作者 | Liyuan Pan, Shah Chowdhury, Richard Hartley, Miaomiao Liu, Hongguang Zhang, Hongdong Li

单位 | 澳大利亚国立大学；

论文 | https://arxiv.org/abs/2012.00301

图像质量评价

Troubleshooting Blind Image Quality Models in the Wild

盲图像质量评价

作者 | Zhihua Wang, Haotao Wang, Tianlong Chen, Zhangyang Wang, Kede Ma

单位 | 香港城市大学；得克萨斯大学奥斯汀分校

论文 | https://arxiv.org/abs/2105.06747

代码 | https://github.com/wangzhihua520/troubleshooting_BIQA

图像增强

Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement

本文中，提出一种新的轻量级方法，Retinex-inspired Unrolling with Architecture Search (RUAS)，用于在现实世界的场景中为低光图像增强。通过实验验证了 RUAS 框架相对于最近提出的最先进方法的优越性。

作者 | Risheng Liu, Long Ma, Jiaao Zhang, Xin Fan, Zhongxuan Luo

单位 | 大连理工大学等

论文 | https://arxiv.org/abs/2012.05609

代码 | https://github.com/dut-media-lab/RUAS

Debiased Subjective Assessment of Real-World Image Enhancement

研究真实世界图像增强问题中的去偏差主观评估

作者 | Peibei Cao、Zhangyang Wang、Kede Ma

单位 | 香港城市大学；得克萨斯大学奥斯汀分校

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Cao_Debiased_Subjective_Assessment_of_Real-World_Image_Enhancement_CVPR_2021_paper.pdf

Learning Temporal Consistency for Low Light Video Enhancement from Single Images

低光照视频增强。文中提出一种新的方法，在只有静态图像的低光视频增强中强制执行时间稳定性。它的关键思想是，从单一图像中学习和推理运动场（光流），并合成短距离视频序列。该方法是通用的，可以直接扩展到大规模的数据集。

通过实验和用户研究表明，所提出的方法具有最先进的性能。

作者 | Fan Zhang、Yu Li、Shaodi You、Ying Fu

单位 | 北京理工大学；腾讯PCG；阿姆斯特丹大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Learning_Temporal_Consistency_for_Low_Light_Video_Enhancement_From_Single_CVPR_2021_paper.pdf

代码 | https://github.com/zkawfanx/StableLLVE

Restoring Extremely Dark Images in Real Time

低光照图像增强。文章提出一个轻量级的新的深度学习架构，用于极端低照度下的单幅图像修复，不仅推理速度快，轻量级，而且修复效果在感知上与最先进的计算密集型模型相当。

作者 | Mohit Lamba、Kaushik Mitra

单位 | 印度理工学院；

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Lamba_Restoring_Extremely_Dark_Images_in_Real_Time_CVPR_2021_paper.pdf

代码 | https://github.com/MohitLamba94/Restoring-Extremely-Dark-Images-In-Real-Time

Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects

夜间能见度图像增强。构思是增加强度的动态范围，从而可以提高低光区域的强度，同时抑制光效应（微光、眩光、泛光）。

作者称是首个解决上述问题的方法，该方法以半监督学习为基础，使用配对数据（有 ground-truths）和非配对数据（无 ground-truths）分别学习动态范围的改善和光效应的抑制。

通过实验验证优于现有的方法。

作者 | Aashish Sharma、Robby T. Tan

单位 | 新加坡国立大学；Yale-NUS College

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Sharma_Nighttime_Visibility_Enhancement_by_Increasing_the_Dynamic_Range_and_Suppression_CVPR_2021_paper.pdf