本篇文章继续总结CVPR 2021 中底层图像处理相关论文,包含图像恢复、图像修补、图像质量评价、去遮挡等。共计 20 篇。
大家可以在:
https://openaccess.thecvf.com/CVPR2021?day=all
按照题目下载这些论文。
如果想要下载所有CVPR 2021论文,请点击这里:
Image Restoration
Multi-Stage Progressive Image Restoration
多阶段渐近图像恢复
作者 | Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao
单位 | 起源人工智能研究院;MBZUAI;蒙纳士大学;加利福尼亚大学美熹德分校;延世大学;谷歌
论文 | https://arxiv.org/abs/2102.02808
代码 | https://github.com/swz30/MPRNet
Controllable Image Restoration for Under-Display Camera in Smartphones
为了解决 UDC 图像中空间变化的模糊和噪声问题,提出一种新型的可控图像修复算法,利用像素化的 UDC 特定核表示和噪声估计器。核表示来自于一个精心设计的光学模型,该模型反映了正常和斜向光入射的影响。同时,引入噪声自适应学习来控制噪声水平,可以根据用户的喜好利用它来提供最佳结果。
实验表明,与传统的图像修复算法相比,所提出的方法在真实世界的数据集和基于显示器的对齐数据集上都取得了卓越的定量性能和更高的感知质量。
作者 | Kinam Kwon、Eunhee Kang、Sangwon Lee 、Su-Jin Lee 、Hyong-Euk Lee 、ByungIn Yoo 、Jae-Joon Han
单位 | SAIT
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Kwon_Controllable_Image_Restoration_for_Under-Display_Camera_in_Smartphones_CVPR_2021_paper.pdf
Zero-shot Single Image Restoration through Controlled Perturbation of Koschmieder’s Model
文中提出一个零样本单一真实世界图像修复模型,它利用了通过Koschmieder 模型从理论上推导出的降质属性,是第一个可用于所有应用领域的图像修复的方法。该用于去噪和水下图像修复的零样本学习方法还是第一种不需要基于先验的损失函数或正则的方法。在现实世界的图像去模糊化和水下图像修复中的表现优于或不亚于最先进的方法。另外还进一步证明改方法在低光照图像增强中的应用,其中可以采用 Koschmieder 的模型。
作者 | Aupendu Kar , Sobhan Kanti Dhara , Debashis Sen, Prabir Kumar Biswas
单位 | 印度理工学院
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Kar_Zero-Shot_Single_Image_Restoration_Through_Controlled_Perturbation_of_Koschmieders_Model_CVPR_2021_paper.pdf
主页 | https://aupendu.github.io/zero-restore
High-Quality Stereo Image Restoration from Double Refraction
立体图像恢复
作者 | Hakyeong Kim 、Andreas Meuleman 、Daniel S. Jeon 、Min H. Kim
单位 | 韩国科学技术院
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Kim_High-Quality_Stereo_Image_Restoration_From_Double_Refraction_CVPR_2021_paper.pdf
Image Restoration for Under-Display Camera
在本次工作中,专注于新定义的显示器下摄像头(UDC),作为一个新的现实世界的单一图像修复问题。首先,采用4k透明OLED(T-OLED)和手机Pentile OLED(P-OLED),并分析它们的光学系统以了解其降质情况。第二,设计一个监视器-相机成像系统(MCIS),以便更容易地获取真实对数据,并设计一个基于模型的数据合成管道,仅从显示模式和相机测量中生成点扩散函数(PSF)和UDC数据。最后,使用基于去卷积的管道和基于学习的方法解决复杂的降质问题。
改模型展示了一个实时的高质量修复。所提出的方法和结果揭示了UDC的潜在研究价值和方向。
作者 | Yuqian Zhou、David Ren、Neil Emerton、Sehoon Lim、 Timothy Large
单位 | 伊利诺伊大学厄巴纳-香槟分校;伯克利;微软
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Image_Restoration_for_Under-Display_Camera_CVPR_2021_paper.pdf
Exploiting Aliasing for Manga Restoration
本文中,提出一种深度学习方法,用于学习比例因子的漫画修复。首先为低分辨率的漫画图像预测一个合适的比例因子。利用预测的比例因子,进一步恢复高分辨率的图像,该图像具有黑白和同质的色调。在合成数据上取得了很高的准确度,并能在真实世界的案例中产生不错的结果。
作者 | Minshan Xie, Menghan Xia, Tien-Tsin Wong
单位 | 香港中文大学;中科院
论文 | https://arxiv.org/abs/2105.06830
Image Inpainting
Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE
提出一种基于分层 VQ-VAE 的 multiple-solution 图像修复方法。该方法与以前的方法相比有两个区别:首先,该模型在离散的隐变量上学习自回归分布。第二,该模型将结构和纹理特征分开。提出为结构特征的分布学习一个条件自回归网络。该网络能够产生具有高度多样性的合理结构。对于纹理生成,提出一个结构注意力模块,用来捕捉结构特征的远距离相关性。还提出两个新的特征损失,以改善结构的一致性和纹理的真实性。
在三个基准数据集(包括CelebA-HQ、Places2和ImageNet)上进行的广泛实验表明,所提出的方法在质量和多样性方面都有优势。
作者 | Jialun Peng, Dong Liu, Songcen Xu, Houqiang Li
单位 | 中国科学技术大学;诺亚方舟实验室
论文 | https://arxiv.org/abs/2103.10022
代码 | https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting
TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations
文中提出 TransFill,一种多同域转换的融合方法,通过参考与目标图像共享场景内容的另一个源图像来填补这个洞。首先通过估计由不同深度级引导的多个同构图,将源图像与目标图像对齐。然后,学习调整颜色,并对每个同传扭曲的源图像应用像素级的扭曲,使其与目标图像更加一致。最后,学习一个像素级的融合模块来选择性地合并不同的方案。所提出方法在各种宽基线和颜色差异的图像对上实现了最先进的性能,并可泛化到用户提供的图像对。
作者 | Yuqian Zhou, Connelly Barnes, Eli Shechtman, Sohrab Amirghodsi
单位 | 伊利诺伊大学厄巴纳-香槟分校;Adobe Research
论文 | https://arxiv.org/abs/2103.15982
代码 | https://github.com/yzhouas/TransFill-Reference-Inpainting
主页 | https://yzhouas.github.io/projects/TransFill/index.html
Image Inpainting with External-internal Learning and Monochromic Bottleneck
作者称这是首个将 external-internal 学习方法用于深度图像修复的工作,通过在大型数据集上进行训练,从外部学习语义知识,同时充分利用单幅测试图像的内部统计数据。设计一个渐进式的内部色彩复原网络,可实现出色的色彩化性能。将所提出的方法推广到多个深度修复模型,并在多个数据集上观察到视觉质量和模型泛化能力的明显改善。
作者 | Tengfei Wang, Hao Ouyang, Qifeng Chen
单位 | 香港科技大学
论文 | https://arxiv.org/abs/2104.09068
代码 | https://github.com/Tengfei-Wang/external-internal-inpainting
PD-GAN: Probabilistic Diverse GAN for Image Inpainting
基于 vanilla GAN,提出 PD-GAN 通过所提出的 SPDNorm 对随机噪声向量的深度特征进行调制,以纳入上下文约束。以及提出一种感知上的多样性损失,以增强网络多样性。
在基准数据集上的实验表明,PD-GAN 能够有效地生成多样的、视觉上真实的图像修补内容。
作者 | Hongyu Liu, Ziyu Wan, Wei Huang, Yibing Song, Xintong Han, Jing Liao
单位 | 虎牙;香港城市大学;湖南大学;腾讯
论文 | https://arxiv.org/abs/2105.02201
代码 | https://github.com/KumapowerLIU/PD-GAN
Image Inpainting Guided by Coherence Priors of Semantics and Textures
本文提出一个新的语义分割和图像修复的联合优化框架,利用语义和纹理之间存在的一致性先验来解决复杂的 holes inpainting 问题。为了解决不相关的纹理填充问题,提出一个语义上的注意力传播模块,以优化来自同一语义区域的预测纹理,以及两个一致性损失来约束同一图像中语义和纹理的一致性。
实验结果表明,所提出方法可以有效地生成有细致的语义结构和纹理细节。
作者 | Liang Liao, Jing Xiao, Zheng Wang, Chia-Wen Lin, Shin'ichi Satoh
单位 | National Institute of Informatics;武汉大学;台湾清华大学
论文 | https://arxiv.org/abs/2012.08054
去遮挡
Human De-occlusion: Invisible Perception and Recovery for Humans
该文针对图像中人物部分被遮挡的问题,作者提出一个两阶段框架来估计人像不可见的部分,并恢复其中的内容。
作者 | Qiang Zhou、Shiyin Wang、Yitong Wang、Zilong Huang、 Xinggang Wang
单位 | 华中科技大学;字节跳动
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Human_De-Occlusion_Invisible_Perception_and_Recovery_for_Humans_CVPR_2021_paper.pdf
代码 | https://sydney0zq.github.io/ahp/
Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration
文中提出一个端到端 DDDNet(基于Dual Pixel 的深度和去模糊网络),以联合估计inverse 深度图并从模糊的 DP 图像对中恢复清晰的图像。
作者 | Liyuan Pan, Shah Chowdhury, Richard Hartley, Miaomiao Liu, Hongguang Zhang, Hongdong Li
单位 | 澳大利亚国立大学;
论文 | https://arxiv.org/abs/2012.00301
图像质量评价
Troubleshooting Blind Image Quality Models in the Wild
盲图像质量评价
作者 | Zhihua Wang, Haotao Wang, Tianlong Chen, Zhangyang Wang, Kede Ma
单位 | 香港城市大学;得克萨斯大学奥斯汀分校
论文 | https://arxiv.org/abs/2105.06747
代码 | https://github.com/wangzhihua520/troubleshooting_BIQA
图像增强
Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement
本文中,提出一种新的轻量级方法,Retinex-inspired Unrolling with Architecture Search (RUAS),用于在现实世界的场景中为低光图像增强。通过实验验证了 RUAS 框架相对于最近提出的最先进方法的优越性。
作者 | Risheng Liu, Long Ma, Jiaao Zhang, Xin Fan, Zhongxuan Luo
单位 | 大连理工大学等
论文 | https://arxiv.org/abs/2012.05609
代码 | https://github.com/dut-media-lab/RUAS
Debiased Subjective Assessment of Real-World Image Enhancement
研究真实世界图像增强问题中的去偏差主观评估
作者 | Peibei Cao、Zhangyang Wang、Kede Ma
单位 | 香港城市大学;得克萨斯大学奥斯汀分校
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Cao_Debiased_Subjective_Assessment_of_Real-World_Image_Enhancement_CVPR_2021_paper.pdf
Learning Temporal Consistency for Low Light Video Enhancement from Single Images
低光照视频增强。文中提出一种新的方法,在只有静态图像的低光视频增强中强制执行时间稳定性。它的关键思想是,从单一图像中学习和推理运动场(光流),并合成短距离视频序列。该方法是通用的,可以直接扩展到大规模的数据集。
通过实验和用户研究表明,所提出的方法具有最先进的性能。
作者 | Fan Zhang、Yu Li、Shaodi You、Ying Fu
单位 | 北京理工大学;腾讯PCG;阿姆斯特丹大学
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Learning_Temporal_Consistency_for_Low_Light_Video_Enhancement_From_Single_CVPR_2021_paper.pdf
代码 | https://github.com/zkawfanx/StableLLVE
Restoring Extremely Dark Images in Real Time
低光照图像增强。文章提出一个轻量级的新的深度学习架构,用于极端低照度下的单幅图像修复,不仅推理速度快,轻量级,而且修复效果在感知上与最先进的计算密集型模型相当。
作者 | Mohit Lamba、Kaushik Mitra
单位 | 印度理工学院;
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Lamba_Restoring_Extremely_Dark_Images_in_Real_Time_CVPR_2021_paper.pdf
代码 | https://github.com/MohitLamba94/Restoring-Extremely-Dark-Images-In-Real-Time
Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects
夜间能见度图像增强。构思是增加强度的动态范围,从而可以提高低光区域的强度,同时抑制光效应(微光、眩光、泛光)。
作者称是首个解决上述问题的方法,该方法以半监督学习为基础,使用配对数据(有 ground-truths)和非配对数据(无 ground-truths)分别学习动态范围的改善和光效应的抑制。
通过实验验证优于现有的方法。
作者 | Aashish Sharma、Robby T. Tan
单位 | 新加坡国立大学;Yale-NUS College
论文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Sharma_Nighttime_Visibility_Enhancement_by_Increasing_the_Dynamic_Range_and_Suppression_CVPR_2021_paper.pdf
图像降质
DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows
这篇文章从非成对数据中学习复杂的图像降质。DeFlow,一种将条件流网络应用于非配对学习设置的新方法。我们应用这种方法为现实世界超分辨率的下游任务生成合成训练数据。尽管与目前主要依靠对抗训练的 RWSR 方法有很大的不同,但 DeFlow 的降质提供了显著的性能改进,并达到了最先进的性能。
作者 | Valentin Wolf, Andreas Lugmayr, Martin Danelljan, Luc Van Gool, Radu Timofte
单位 | 苏黎世联邦理工学院
论文 | https://arxiv.org/abs/2101.05796
代码 | https://github.com/volflow/DeFlow
备注 | CVPR 2021 oral
- END -
编辑:CV君
转载请联系本公众号授权
备注:修复
图像增强与质量评价交流群
图像增强、去雾、去雨、图像修补、图像恢复等技术,
若已为CV君其他账号好友请直接私信
在看,让更多人看到