图像恢复
文章平均质量分 93
通街市密人有
https://github.com/LinY-ct
展开
-
Priors in Deep Image Restoration and Enhancement: A Survey
图像恢复和增强是通过消除诸如噪声、模糊和分辨率退化等退化来提高图像质量的过程。深度学习(DL)最近被应用于图像恢复和增强。由于深度神经网络的病态性,人们已经探索了大量的先验知识来促进深度神经网络的训练。然而,到目前为止,学界还没有对先验的重要性进行系统的研究和分析。因此,本文首次对先验算法在深度图像恢复和增强方面的最新进展进行了全面的综述。原创 2024-01-07 20:12:10 · 1451 阅读 · 0 评论 -
ISNAS-DIP: Image-Specific Neural Architecture Search for Deep Image Prior
最近的研究表明,卷积神经网络(CNN)架构在频谱上偏向较低频率,这已被用于深度图像先验(DIP)框架中的各种图像恢复任务。网络在DIP框架中施加的感应偏置的好处取决于体系结构。因此,研究人员研究了如何自动搜索以确定最佳表现模型。然而,常用的神经结构搜索(NAS)技术是资源和时间密集型的。此外,最佳表现的模型是为整个图像数据集确定的,而不是单独为每个图像确定的,这将是非常昂贵的。在这项工作中,我们首先证明了DIP框架中的最优神经结构是图像相关的。原创 2023-12-06 11:33:39 · 1533 阅读 · 0 评论 -
Neural Architecture Search for Deep Image Prior
在最近提出的深度图像先验算法(DIP)下,我们提出了一种神经结构搜索(NAS)技术来提高无监督图像去噪、修复和超分辨率的性能。我们发现,进化搜索可以自动优化DIP网络的编码器-解码器(E-D)结构和元参数,这是在正则化这些单个图像恢复任务之前的特定内容。我们的二进制表示对非对称E-D网络的设计空间进行编码,该网络通常在10-20代内收敛,使用500个种群大小产生特定于内容的DIP。优化的架构不断提高经典DIP的视觉质量,以满足各种摄影和艺术内容。原创 2023-11-29 15:37:47 · 1462 阅读 · 0 评论 -
Deep Image Prior
深度卷积网络已经成为一种流行的图像生成和恢复工具。一般来说,它们的优异表现归功于它们能够从大量的示例图像中学习真实的图像先验。在本文中,我们表明,相反,生成器网络的结构足以在任何学习之前捕获大量低级图像统计。为了做到这一点,我们表明随机初始化的神经网络可以用作手工制作的先验,在标准逆问题(如去噪,超分辨率和修复)中具有出色的结果。此外,可以使用相同的先验来反演深度神经表征以诊断它们,并基于flash-no flash输入对恢复图像。除了其多样化的应用之外,我们的方法还突出了标准生成网络架构捕获的感应偏置。原创 2023-11-28 20:17:30 · 1124 阅读 · 0 评论 -
NAS-DIP: Learning Deep Image Prior with Neural Architecture Search
最近的研究表明,深度卷积神经网络的结构可以用作解决各种逆图像恢复任务的结构化图像先验。我们建议寻找能够捕获更强图像先验的神经结构,而不是使用手工设计的结构。在通用U-Net架构的基础上,我们的核心贡献在于为(1)上采样单元和(2)跨尺度残差连接模式设计新的搜索空间。我们通过利用现有的神经结构搜索算法(使用带有循环神经网络控制器的强化学习)来搜索改进的网络。我们通过各种各样的应用验证了我们方法的有效性,包括图像恢复、去雾、图像到图像的翻译和矩阵分解。原创 2023-11-27 19:17:44 · 1074 阅读 · 0 评论 -
Parallel Diffusion Models of Operator and Image for Blind Inverse Problems
在正向算子已知的情况下(即非盲),基于扩散模型的逆问题求解器已经展示了最先进的性能。然而,该方法对盲逆问题的适用性还有待探索。 在这项工作中,我们证明我们确实可以通过为前向算子构造另一个扩散先验来解决一系列盲逆问题。具体来说,在中间阶段梯度引导下的平行反向扩散可以同时优化正演算子参数和图像,从而在平行反向扩散过程结束时对两者进行联合估计。我们展示了我们原创 2023-11-21 17:32:37 · 334 阅读 · 0 评论 -
DiffIR: Efficient Diffusion Model for lmage Restoration
扩散模型(DM)通过将图像合成过程建模为去噪网络的顺序应用,实现了SOTA的性能。然而,与图像合成从头生成每个像素不同,图像复原(IR)的大部分像素是给定的。因此,对于IR,传统的DMs在大型模型上运行大量迭代来估计整个图像或特征映射是低效的。为了解决这个问题,我们提出了一种高效的IRDM (DiffIR),它由紧凑的IR先验提取网络(CPEN)、动态IRtransformer(DIRformer)和去噪网络组成。具体来说,DiffIR有两个训练阶段:预训练和训练DM。原创 2023-07-27 21:49:12 · 1949 阅读 · 0 评论 -
Generative Diffusion Prior for Unified Image Restoration and Enhancement
现有的图像恢复方法多是利用自然图像的后验分布。然而,它们通常假定已知的退化,并且还需要有监督的训练,这限制了它们对复杂实际应用的适应。在这项工作中,我们提出了生成扩散先验(GDP)以无监督抽样的方式有效地建模后验分布。GDP利用预训练去噪扩散生成模型(DDPM)来解决线性逆、非线性或盲问题。具体而言,GDP系统地探索了一种有条件引导的协议,验证了该协议比常用的引导方式更具实用性。此外,GDP擅长在去噪过程中优化退化模型的参数,实现图像的盲恢复。原创 2023-06-20 12:48:20 · 1140 阅读 · 0 评论 -
Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey
图像恢复(IR)一直是低水平视觉领域不可或缺的一项具有挑战性的任务,它致力于提高因各种形式的退化而失真的图像的主观质量。近年来,扩散模型在AIGC的视觉生成方面取得了重大进展,由此提出了一个直观的问题,即“扩散模型能否促进图像恢复”。为了回答这个问题,一些开创性的研究试图将扩散模型集成到图像恢复任务中,从而获得比以前基于GAN的方法更好的性能。尽管如此,关于基于扩散模型的图像恢复的全面而有启发性的研究仍然很少。原创 2023-08-23 15:55:58 · 3861 阅读 · 0 评论 -
DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
我们提出了DiffBIR,它利用预训练的文本到图像扩散模型来解决盲图像恢复问题。我们的框架采用两阶段pipeline。在第一阶段,我们在多种退化中预训练恢复模块,以提高现实场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力,实现真实的图像恢复。具体来说,我们引入了一个injective modulation 子网络——LAControlNet进行微调,而预训练的Stable Diffusion是为了保持其生成能力。原创 2023-09-06 18:52:04 · 8898 阅读 · 0 评论