TPAMI 2024 | 基于残差转移的高效扩散模型用于图像恢复

最新推荐文章于 2025-03-12 22:11:28 发布
最新推荐文章于 2025-03-12 22:11:28 发布
阅读量94 收藏 2
点赞数 1
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 顶刊论文 论文解读 IEEE TPAMI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/144930778
版权

论文信息

题目：Efficient Diffusion Model for Image Restoration by Residual Shifting
基于残差转移的高效扩散模型用于图像恢复
作者：Zongsheng Yue, Jianyi Wang, Chen Change Loy
源码链接：https://github.com/zsyOAOA/ResShift

论文创新点

  1. 提出了一种高效的扩散模型，通过残差转移在HQ和LQ图像之间建立短马尔可夫链，显著减少采样步骤。
  2. 设计了灵活的噪声调度，控制转移速度和噪声强度，平衡图像的保真度和真实性。
  3. 用Swin Transformer替换自注意力层，增强模型在处理任意分辨率图像时的适应性。

摘要

尽管基于扩散的图像恢复（IR）方法取得了显著的成功，但它们仍然受到推理速度慢的限制ÿ

了解本专栏 订阅专栏 解锁全文
【深度学习】超分，修复，ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting
q742971636的博客
03-24 2212
基于上述动机，我们提出了一个高效的扩散模型，涉及一个更短的马尔可夫链，用于在HR图像和其对应的LR图像之间过渡。在本文中，我们认为，对于SR来说，合理的扩散模型应该从一个基于LR图像的先验分布开始，使其能够迭代地从其LR对应物中恢复HR图像，而不是从高斯白噪声开始。最近，扩散模型，作为一种新出现的生成模型，在图像生成方面取得了前所未有的成功。为了解决这个问题，作者提出了一种新颖高效的扩散模型用于SR，显著减少了扩散步骤的数量，从而消除了在推理过程中需要后加速的需求及其可能导致的性能恶化问题。
TPAMI 2025 | 基于残差转移的高效扩散模型用于图像恢复
小白学视觉
03-08 133
尽管基于扩散的图像恢复（IR）方法取得了显著的成功，但它们仍然受到推理速度慢的限制，这是由于执行数百甚至数千个采样步骤的必要性。现有的加速采样技术虽然在一定程度上加快了过程，但不可避免地牺牲了性能，导致恢复结果过度模糊。为了解决这个问题，作者提出了一种新颖且高效的扩散模型，显著减少了所需的扩散步骤数量。作者的方法避免了推理过程中的后加速，从而避免了相关的性能下降。具体来说，作者提出的方法建立了一个马尔可夫链，通过转移高质图像和低质图像之间的残差，显著提高了转移效率。
TPAMI 2024 | 何恺明都没有想到！在残差神经网络里面加入扩散机制
小白学视觉
09-08 1212
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文转自：AI学术工坊题目：Diffusion Mechanism in Residual Neural Network: Theory and Applications残差神经网络中的扩散机制：理论与应用作者：Tangjun Wang; Zehao Dou; Chenglong Bao; Zuoqiang Shi源码链接：ht...
ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting
qq_42208244的博客
09-15 1532
基于扩散的图像超分辨率(SR)方法由于需要数百甚至数千个采样步骤，导致推理速度较低。现有的加速采样技术不可避免地会在一定程度上牺牲性能，导致SR结果过于模糊。为了解决这个问题，我们提出了一种新颖有效的SR扩散模型，该模型显著减少了扩散步骤的数量，从而消除了推理过程中对后加速的需求及其相关的性能下降。
【深度学习】超分，修复，ResShift Efficient Diffusion Model for Image Super-resolution by Residual Shifting
m0_60567881的博客
04-29 599
基于上述动机，我们提出了一个高效的扩散模型，涉及一个更短的马尔可夫链，用于在HR图像和其对应的LR图像之间过渡。马尔可夫链的初始状态收敛到HR图像的近似分布，而最终状态收敛到LR图像的近似分布。为了实现这一点，我们精心设计了一个转换核，逐步移动它们之间的残差。这种方法比现有的基于扩散的SR方法更高效，因为残差信息可以在几十个步骤内快速传递。此外，我们的设计还允许对证据下界进行分析和简洁的表达，简化了训练优化目标的归纳。
AI在医学领域：残差扩散模型预测特发性肺纤维化 (IPF)
声纹感知 洞察芯声
08-07 802
本文提出了一种基于传统扩散模型的临床信息引导的残差扩散模型（CIResDiff），旨在通过生成随访CT扫描来提前预测IPF的进展，这对于实现及时治疗和降低医疗成本至关重要。这种方法不仅可以帮助医生更早地识别疾病进展，还可以为患者提供更有针对性的治疗方案。
探索未来图像处理的边界 —— **残差去噪扩散模型（RDDM）**
gitblog_00013的博客
06-05 1143
探索未来图像处理的边界 —— 残差去噪扩散模型（RDDM） 去发现同类优质开源项目:https://gitcode.com/ 在数字化时代，高质量的图像生成与修复技术日益成为研究前沿的焦点。今天，我们要向您隆重介绍一个令人瞩目的开源项目——Residual Denoising Diffusion Models（RDDM），这是基于PyTorch实现的残差去噪扩散模型的官方代码库，它正在悄然改变着我...
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 573
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 | 用于高光谱图像恢复的潜扩散增强矩形变压器
小白学视觉
01-07 155
高光谱图像（HSI）的恢复在后续的高光谱图像应用中扮演着关键角色。尽管深度学习具有显著的能力，但当前的HSI恢复方法在有效探索HSI内在的空间非局部自相似性和光谱低秩特性方面面临挑战。本文通过引入一种潜在扩散增强的矩形Transformer来解决HSI恢复问题，该方法解决了非局部空间相似性和HSI特有的潜在扩散低秩特性的问题。为了有效地捕获非局部空间相似性，我们提出了多形状空间矩形自注意力模块，该模块在水平和垂直方向上都能使用，使模型能够利用信息丰富的空间区域进行HSI恢复。
TPAMI 2024 | 基于深度感知点扩散函数的光学像差校正
小白学视觉
09-10 184
光学像差是基于真实镜头成像系统中的常见退化现象。光学像差是由光线在通过相机镜头的不同区域和不同入射角度时光路长度的差异引起的。当光学系统发生变化时，模糊和色差会表现出显著差异。本文通过改变少量镜头相关参数，设计了一种简单镜头的多波长、深度感知、空间变异四维点扩散函数（4D-PSFs）估计的可转移且有效的图像模拟系统。该图像模拟系统可以减轻数据集收集的开销，并利用计算成像原理进行有效的光学像差校正。
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
02-08
作者：Xiaohang Zhan,Ziwei Liu,Ping Luo,Xiaoou Tang,Chen Change Loy 摘要：Deep convolutional networks for semantic image segmentation typically require large-scale labeled data, e.g. ImageNet and MS COCO, for network pre-training. To reduce annotation efforts, self-supervised semantic segmentation is recently proposed to pre-train a network without any human-provided labels. The key of this new form of learning is to design a proxy task (e.g. image colorization), from which a discriminative loss can be formulated on unlabeled data. Many proxy tasks, however, lack the critical supervision signals that could induce discriminative representation for the target image segmentation task. Thus self-supervision's performance is still far from that of supervised pre-training. In this study, we overcome this limitation by incorporating a "mix-and-match" (M&M) tuning stage in the self-supervision pipeline. The proposed approach is readily pluggable to many self-supervision methods and does not use more annotated samples than the original process. Yet, it is capable of boosting the performance of target image segmentation task to surpass fully-supervised pre-trained counterpart. The improvement is made possible by better harnessing the limited pixel-wise annotations in the target dataset. Specifically, we first introduce the "mix" stage, which sparsely samples and mixes patches from the target set to reflect rich and diverse local patch statistics of target images. A "match" stage then forms a class-wise connected graph, which can be used to derive a strong triplet-based discriminative loss for fine-tuning the network. Our paradigm follows the standard practice in existing self-supervised studies and no extra data or label is required. With the proposed M&M approach, for the first time, a self-supervision method can achieve comparable or even better performance compared to its ImageNet pre-trained counterpart on both PASCAL VOC2012 dataset and CityScapes dataset.
Residual Denoising Diffusion Models
m0_53700832的博客
10-14 3109
论文标题：Residual Denoising Diffusion Models（残差去噪扩散模型） 作者：Jiawei Liu, Qiang Wang, Huijie Fan, Yinong Wang, Yandong Tang, Liangqiong Qu 机构：我们提出了一种新的残差去噪扩散模型（Residual Denoising Diffusion Models, RDDM），它通过将传统的单一去噪扩散过程解耦为残差扩散和噪声扩散这两个过程，构建了一个双重扩散框架。这一框架将去噪型扩散模型从原本难
介绍如何使用RDDM（残差噪声双扩散模型）进行知识蒸馏
AI的内部世界的博客
03-12 533
下面为你详细介绍如何使用RDDM（残差噪声双扩散模型）进行知识蒸馏，从而实现学生RDDM模型的一步去噪。这里假定你已经有了RDDM模型，并且使用PyTorch深度学习框架。
DiffIR: Efficient Diffusion Model for Image Restoration 利用扩散模型进行图像重建
敲很多键盘
04-02 5658
DiffIR，一种强大、简单、高效的基于扩散模型的的图像修复方法。与图像生成不同的是，输入图像的大部分像素都是给定的。因此，我们利用DM强大的映射能力来估计一个紧凑的IPR（IR Prior Representation，图像修复的先验表示）来引导图像修复，从而提高DM在图像修复中的恢复效率和稳定性。
扩散模型荣获CVPR2024最佳论文奖，最新成果让评估和改进生成模型更加效率！
06-20 2394
在近年来的深度学习领域中备受关注，它通过模拟数据逐步演化的过程来生成高质量的样本，提升了模型在图像生成、语音合成和自然语言处理等任务中的表现。Diffusion Models技术能够在数据生成和重建方面取得优异的效果，成为生成模型中的新兴热点。其独特的方法和卓越的表现使其成为研究热点之一。
【深度学习模型】扩散模型(Diffusion Model)基本原理及代码讲解
weixin_44955407的博客
03-01 4386
生成式建模的扩散思想实际上已经在2015年（Sohl-Dickstein等人）提出，然而，直到2019年斯坦福大学（Song等人）、2020年Google Brain（Ho等人）才改进了这个方法，从此引发了生成式模型的新潮流。目前，包括OpenAI的GLIDE和DALL-E 2，海德堡大学的Latent Diffusion和Google Brain的ImageGen，都基于diffusion模型，并可以得到高质量的生成效果。本文以下讲解主要基于DDPM，并适当地增加一些目前有效的改进内容。
SRCNN：Image Super-Resolution Using Deep Convolutional Networks
baixue0729的博客
06-11 5353
使用深度卷积网络的图像超分辨率 作者：Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang 论文地址：https://arxiv.org/abs/1501.00092 项目地址：https://github.com/tegg89/SRCNN-Tensorflow 摘要   我们提出了一种用于单图像超分辨率（SR）的深度学习方法。 我们的方法直接学习了低/高分辨率图像之间的端到端映射。 映射表示为其将低分辨率图像作为输入并输出高分辨率图像的深度卷积神经网络（C
tpami2024图像去噪
最新发布
03-29
### TPAMI 2024 年关于图像去噪的研究概述 在TPAMI 2024年的研究中，有一篇重要的论文提出了无需去噪的含噪图像表示方法[^1]。这项工作旨在解决具有挑战性的噪声退化问题，并提出了一种新的时频判别图像表示技术。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值