扩散模型
文章平均质量分 93
通街市密人有
https://github.com/LinY-ct
展开
-
ZigMa: A DiT-style Zigzag Mamba Diffusion Model
扩散模型长期以来一直受到可扩展性和二次复杂度问题的困扰,特别是在基于Transformer的结构中。在本研究中,我们的目标是利用称为Mamba的状态空间模型的长序列建模能力来扩展其对可视化数据生成的适用性。首先,我们确定了目前大多数基于Mamba的视觉方法中的一个关键疏忽,即在Mamba扫描方案中缺乏对空间连续性的考虑。原创 2024-10-09 22:01:46 · 789 阅读 · 0 评论 -
FreeU: Free Lunch in Diffusion U-Net
在本文中,我们揭示了扩散U-Net尚未开发的潜力,它可以作为“免费午餐”,在运行中大幅提高生成质量。我们首先研究了U-Net架构对去噪过程的关键贡献,并确定其主要backbone主要有助于去噪,而其跳跃连接主要将高频特征引入解码器模块,导致网络忽略backbone语义。利用这一发现,我们提出了一种简单而有效的方法-称为“FreeU”-无需额外的培训或微调即可提高生成质量。我们的关键见解是战略性地重新权衡来自U-Net的跳跃连接和backbone特征映射的贡献,以利用U-Net架构的两个组件的优势。原创 2024-07-22 19:06:57 · 867 阅读 · 0 评论 -
Parallel Diffusion Models of Operator and Image for Blind Inverse Problems
在正向算子已知的情况下(即非盲),基于扩散模型的逆问题求解器已经展示了最先进的性能。然而,该方法对盲逆问题的适用性还有待探索。 在这项工作中,我们证明我们确实可以通过为前向算子构造另一个扩散先验来解决一系列盲逆问题。具体来说,在中间阶段梯度引导下的平行反向扩散可以同时优化正演算子参数和图像,从而在平行反向扩散过程结束时对两者进行联合估计。我们展示了我们原创 2023-11-21 17:32:37 · 334 阅读 · 0 评论 -
Unsupervised Medical Image Translation with Adversarial Diffusion Models
通过源-目标模态转换对缺失图像进行补全可以提高医学成像方案的多样性。利用生成对抗网络(GAN)进行一次映射是一种普遍的目标图像合成方法。然而,隐式表征图像分布的GAN模型可能会受到样本保真度的限制。本文提出了一种基于对抗扩散建模的新方法SynDiff,以提高医学图像翻译的性能。为了捕获图像分布的直接相关性,SynDiff利用条件扩散过程,逐步将噪声和源图像映射到目标图像上。为了在推理过程中快速准确地进行图像采样,在反向扩散方向上采用对抗投影进行大扩散步长。原创 2023-10-24 19:41:45 · 1049 阅读 · 1 评论 -
Contextual Error-Modulated Generalized Diffusion Model for Low-Dose CT Denoising and Generalization
由于光子不足伪影和电子噪声,低剂量计算机断层扫描(CT)图像受到噪声和伪影的影响。最近,一些研究尝试使用扩散模型来解决以前基于深度学习的去噪模型遇到的过度平滑和训练不稳定性问题。然而,扩散模型由于涉及大量采样步骤而导致推理时间长。近年来,cold diffusion 模型对经典扩散模型进行了推广,具有更大的灵活性。受cold diffusion 的启发,提出了一种新的用于低剂量CT (LDCT)去噪的上下文误差调制广义扩散模型,称为CoreDiff。原创 2023-10-17 16:58:24 · 708 阅读 · 0 评论 -
Unsupervised CT Metal Artifact Reduction by Plugging Diffusion Priors in Dual Domains
在计算机断层扫描(CT)过程中,患者体内的金属植入物通常会导致重建图像中的破坏性伪影,从而阻碍准确诊断。许多基于监督深度学习的方法被提出用于金属伪影还原(MAR)。然而,这些方法依赖于大量的模拟数据训练,因为在临床环境中获得配对的金属伪影CT和干净CT数据是具有挑战性的。这一限制可能导致在临床实践中应用时性能下降。现有有效的无监督MAR方法,无论是否基于学习,通常都是在图像域或弦图域进行单域处理。在本文中,我们引入了一种基于扩散模型的无监督MAR方法,扩散模型是一种具有强大表示数据分布能力的生成模型。原创 2023-09-26 16:29:48 · 1250 阅读 · 0 评论 -
Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models
扩散模型由于其众多的优点已经成为一种流行的图像生成和重建方法。然而,大多数基于扩散的逆问题解决方法只处理2D图像,甚至最近发表的3D方法也没有充分利用3D分布先验。为了解决这个问题,我们提出了一种新的方法,使用两个垂直的预训练二维扩散模型来解决三维逆问题。通过将三维数据分布建模为二维分布在不同方向上的切片的乘积,我们的方法有效地解决了维度灾难。实验结果表明,我们的方法对三维医学图像重建任务非常有效,包括MRI z轴超分辨率,压缩感知MRI和稀疏视图CT。我们的方法可以生成适合医疗应用的高质量体素体。原创 2023-09-14 20:50:32 · 619 阅读 · 1 评论 -
DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
我们提出了DiffBIR,它利用预训练的文本到图像扩散模型来解决盲图像恢复问题。我们的框架采用两阶段pipeline。在第一阶段,我们在多种退化中预训练恢复模块,以提高现实场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力,实现真实的图像恢复。具体来说,我们引入了一个injective modulation 子网络——LAControlNet进行微调,而预训练的Stable Diffusion是为了保持其生成能力。原创 2023-09-06 18:52:04 · 8898 阅读 · 0 评论 -
Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey
图像恢复(IR)一直是低水平视觉领域不可或缺的一项具有挑战性的任务,它致力于提高因各种形式的退化而失真的图像的主观质量。近年来,扩散模型在AIGC的视觉生成方面取得了重大进展,由此提出了一个直观的问题,即“扩散模型能否促进图像恢复”。为了回答这个问题,一些开创性的研究试图将扩散模型集成到图像恢复任务中,从而获得比以前基于GAN的方法更好的性能。尽管如此,关于基于扩散模型的图像恢复的全面而有启发性的研究仍然很少。原创 2023-08-23 15:55:58 · 3861 阅读 · 0 评论 -
Diffusion Probabilistic Priors for Zero-Shot Low-Dose CT Image Denoising
低剂量CT图像去噪是医学图像计算中的一项关键任务。近年来,基于监督的深度学习方法在这一领域取得了重大进展。然而,这些方法通常需要对低剂量和正常剂量的CT图像进行训练,这在临床环境中很难获得。现有的基于无监督深度学习的方法通常需要使用大量低剂量CT图像进行训练,或者依靠专门设计的数据采集流程来获得训练数据。为了解决这些限制,我们提出了一种新的无监督方法,该方法在训练期间仅使用正常剂量的CT图像,从而实现对低剂量CT图像的Zero-Shot去噪。我们的方法利用了扩散模型,一个强大的生成模型。原创 2023-08-17 19:56:57 · 741 阅读 · 1 评论 -
Iterative Reconstruction Based on Latent Diffusion Model for Sparse Data Reconstruction
从稀疏测量重建计算机断层扫描(CT)图像是一个众所周知的不适定反问题。迭代重构(IR)算法是求解逆问题的一种方法。然而,最近的IR方法需要成对数据和逆投影矩阵的近似。为了解决这些问题,我们提出了潜在扩散迭代重建(LDIR),这是一种开创性的zero-shot方法,它通过预训练的潜在扩散模型(LDM)作为准确有效的数据先验来扩展IR。LDIR通过无条件潜扩散模型近似先验分布,是第一个以无监督方式成功地将迭代重建与LDM相结合的方法。LDIR使得高分辨率图像的重建更加高效。原创 2023-08-03 20:59:16 · 274 阅读 · 0 评论 -
DiffIR: Efficient Diffusion Model for lmage Restoration
扩散模型(DM)通过将图像合成过程建模为去噪网络的顺序应用,实现了SOTA的性能。然而,与图像合成从头生成每个像素不同,图像复原(IR)的大部分像素是给定的。因此,对于IR,传统的DMs在大型模型上运行大量迭代来估计整个图像或特征映射是低效的。为了解决这个问题,我们提出了一种高效的IRDM (DiffIR),它由紧凑的IR先验提取网络(CPEN)、动态IRtransformer(DIRformer)和去噪网络组成。具体来说,DiffIR有两个训练阶段:预训练和训练DM。原创 2023-07-27 21:49:12 · 1949 阅读 · 0 评论 -
Multiscale Structure Guided Diffusion for Image Deblurring
扩散概率模型(DPM)最近被用于图像去模糊,它被表述为一个图像条件生成过程,将高斯噪声映射到高质量的图像,条件是模糊的输入。在对两两域内数据进行训练时,图像条件DPM (icDPM)显示出比基于回归的方法更真实的结果。然而,当呈现域外图像时,它们在恢复图像方面的鲁棒性尚不清楚,因为它们没有施加特定的退化模型或中间约束。为此,我们引入了一种简单而有效的多尺度结构引导,作为一种隐式偏差,告知icDPM关于中间层锐利图像的粗结构。这种引导配方导致去模糊结果的显著改善,特别是在看不见的领域。原创 2023-07-20 21:08:07 · 997 阅读 · 0 评论 -
Reconstructing the Mind’s Eye fMRI-to-Image with Contrastive Learning and Diffusion Priors
我们提出MindEye,一种新的fMRI-to-image方法来检索和重建从大脑活动中看到的图像。我们的模型包括两个并行子模块,专门用于检索(使用对比学习)和重建(使用扩散先验)。MindEye可以将fMRI大脑活动映射到任何高维多模态潜在空间,如CLIP图像空间,使用生成模型接受来自该潜在空间的嵌入,从而实现图像重建。我们将我们的方法与其他现有方法进行全面比较,使用定性并排比较和定量评估,并表明MindEye在重建和检索任务中都达到了最先进的性能。原创 2023-07-07 13:19:57 · 653 阅读 · 0 评论 -
Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion
从测量的功能磁共振成像(fMRI)中重建视觉刺激是一项有意义且具有挑战性的任务。先前的研究已经成功地实现了与原始图像相似的结构重建,例如一些自然图像的轮廓和大小。然而,这些重构缺乏明确的语义信息,难以识别。近年来,许多研究利用生成能力较强的多模态预训练模型来重建语义上与原始图像相似的图像。然而,这些图像具有不可控的结构信息,如位置和方向。为了同时解决上述两个问题,我们提出了一个两阶段的图像重建模型,称为MindDiffuser,利用稳定扩散。原创 2023-07-07 13:07:13 · 341 阅读 · 0 评论 -
Generative Diffusion Prior for Unified Image Restoration and Enhancement
现有的图像恢复方法多是利用自然图像的后验分布。然而,它们通常假定已知的退化,并且还需要有监督的训练,这限制了它们对复杂实际应用的适应。在这项工作中,我们提出了生成扩散先验(GDP)以无监督抽样的方式有效地建模后验分布。GDP利用预训练去噪扩散生成模型(DDPM)来解决线性逆、非线性或盲问题。具体而言,GDP系统地探索了一种有条件引导的协议,验证了该协议比常用的引导方式更具实用性。此外,GDP擅长在去噪过程中优化退化模型的参数,实现图像的盲恢复。原创 2023-06-20 12:48:20 · 1140 阅读 · 0 评论 -
All are Worth Words : A ViT Backbone for Diffusion Models
视觉transformer(ViT)在各种视觉任务中显示出了前景,而基于卷积神经网络(CNN)的U-Net在扩散模型中仍然占主导地位。我们设计了一种简单通用的基于ViT的架构(命名为U-ViT),用于使用扩散模型生成图像。U-ViT的特征是将包括时间、条件和噪声图像块在内的所有输入视为令牌,并在浅层和深层之间使用长跳跃连接。我们在无条件和类条件图像生成以及文本到图像生成任务中评估U-ViT,其中U-ViT即使不优于类似大小的基于CNN的U-Net,也具有可比性。原创 2023-04-18 23:47:48 · 1130 阅读 · 1 评论 -
SinDiffusion: Learning a Diffusion Model from a Single Natural Image
我们提出了SinDiffusion,利用去噪扩散模型从单个自然图像中捕获补丁的内部分布。与现有的基于GAN的方法相比,SinDiffusion显著提高了生成样本的质量和多样性。它基于两个核心设计。首先,SinDiffusion在单个尺度上使用单个模型进行训练,而不是在之前的工作中作为默认设置的尺度逐步增长的多个模型。这避免了错误的积累,这会在生成的结果中导致特征伪影。其次,我们发现扩散网络的补丁级接受场对于捕获图像的补丁统计信息至关重要,因此我们重新设计了扩散模型的网络结构。原创 2023-03-19 22:05:15 · 445 阅读 · 0 评论 -
gDDIM: Generalized denoising diffusion implicit models
我们的目标是将去噪扩散隐式模型(DDIM)扩展到一般扩散模型(DMs)。我们没有像原来的DDIM论文那样构造一个非马尔可夫噪声过程,而是从数值的角度研究了DDIM的机制。我们发现,在求解相应的随机微分方程时,可以使用分数的某些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释,这也解释了确定性抽样方案相对于快速抽样的随机方案的优势。在此基础上,我们将DDIM扩展到通用DM,在参数化分数网络方面进行了小而精细的修改。当应用于最近提出的一种新型扩散模型——临界阻尼朗之万扩散模型时,我们的算法在CIFAR原创 2023-03-12 23:04:06 · 668 阅读 · 0 评论 -
High-resolution image reconstruction with latent diffusion models from human brain activity
从人类大脑活动中重建视觉体验,为理解大脑如何代表世界,以及解释计算机视觉模型和我们的视觉系统之间的联系提供了独特的方法。虽然深度生成模型最近被用于这一任务,但重建具有高语义保真度的真实图像仍然是一个具有挑战性的问题。在这里,我们提出了一种基于扩散模型(DM)的新方法来重建通过功能磁共振成像(fMRI)获得的人脑活动图像。更具体地说,我们依赖于被称为稳定扩散的潜在扩散模型(LDM)。该模型降低了DM的计算成本,同时保留了它们的高生成性能。我们还通过研究LDM的不同组成部分(如图像zzz。原创 2023-03-06 22:39:06 · 3556 阅读 · 2 评论 -
Unsupervised Representation Learning from Pre-trained Diffusion Probabilistic Models
扩散概率模型(DPM)已经显示出生成高质量图像样本的强大能力。最近,扩散自编码器(Diff-AE)被提出来探索通过自编码进行表示学习的DPM。他们的关键思想是联合训练一个编码器,用于从图像中发现有意义的表示,和一个条件DPM作为解码器,用于重建图像。原创 2023-02-27 23:18:08 · 705 阅读 · 0 评论 -
Scalable Diffusion Models with Transformers
我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型,用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现,具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。原创 2023-01-09 20:50:23 · 4724 阅读 · 0 评论 -
Diffusion models as plug-and-play priors
我们考虑在由先验p(x)p(x)p(x)和x上的辅助可微约束c(x,y)c(x,y)c(x,y)组成的模型中推断高维数据x的问题。在本文中,先验是一个独立训练的去噪扩散生成模型。辅助约束预计具有可微形式,但可以来自不同的来源。这种推断的可能性将扩散模型转化为即插即用模块,从而允许在使模型适应新领域和任务(如条件生成或图像分割)方面的一系列潜在应用。扩散模型的结构允许我们通过在每个步骤中富含不同数量噪声的固定去噪网络迭代微分来执行近似推断。原创 2022-11-27 21:34:56 · 949 阅读 · 0 评论 -
Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models
扩散模型已成为具有高质量样本的新的艺术生成模型,具有模式覆盖和高灵活性等有趣的特性。它们也被证明是有效的逆问题求解器,充当分布的先验,而正演模型的信息可以在采样阶段获得。然而,由于生成过程保持在相同的高维(即,与数据维相同)空间中,由于极高的内存和计算成本,模型尚未扩展到三维逆问题。在本文中,我们将传统基于模型的迭代重建的思原创 2022-11-24 20:17:41 · 2499 阅读 · 1 评论 -
Diffusion Models for Medical Image Analysis A Comprehensive Survey
去噪扩散模型是一类生成模型,最近在各种深度学习问题中引起了极大的兴趣。扩散概率模型定义了前向扩散阶段,其中输入数据通过添加高斯噪声在几个步骤上被逐渐扰动。尽管扩散模型具有已知的计算负担,但其强大的模式覆盖率和生成的样本的质量被广泛赞赏。利用计算机视觉的进步,医学成像领域也观察到对扩散模型的兴趣越来越大。为了帮助研究者驾驭这一庞然大物,本次调查旨在全面概述医学图像分析学科中的扩散模型。原创 2022-11-21 22:08:42 · 4926 阅读 · 1 评论 -
Medical Diffusion - Denoising Diffusion Probabilistic Models for 3D Medical Image Generation
计算机视觉的最新进展已经在图像生成方面显示出有希望的结果。扩散概率模型尤其从文本输入中生成了真实的图像,如DALL-E 2、Imagen和Stable Diffusion所示。然而,它们在医学中的应用尚未得到系统评估,因为医学中的图像数据通常包括三维体积。合成图像可能在保护隐私的人工智能中起着至关重要的作用,也可以用于增强小数据集。这里我们展示了扩散概率模型可以合成高质量的医学成像数据,我们展示了磁共振图像(MRI)和计算机断层扫描(CT)图像。原创 2022-11-19 12:29:58 · 937 阅读 · 0 评论 -
Medical Diffusion - Denoising Diffusion Probabilistic Models for 3D Medical Image Generation
计算机视觉的最新进展已经在图像生成方面显示出有希望的结果。扩散概率模型尤其从文本输入中生成了真实的图像,如DALL-E 2、Imagen和Stable Diffusion所示。然而,它们在医学中的应用尚未得到系统评估,因为医学中的图像数据通常包括三维体积。合成图像可能在保护隐私的人工智能中起着至关重要的作用,也可以用于增强小数据集。这里我们展示了扩散概率模型可以合成高质量的医学成像数据,我们展示了磁共振图像(MRI)和计算机断层扫描(CT)图像。原创 2022-11-11 20:44:38 · 1826 阅读 · 0 评论 -
扩散模型综述整理
扩散模型综述整理原创 2022-11-06 22:13:01 · 935 阅读 · 0 评论 -
Efficient Diffusion Models for Vision: A Survey
扩散模型(DM)在内容生成方面表现出了最先进的性能,无需对抗性训练。这些模型采用两步过程进行训练。首先,前向扩散过程会逐渐增加数据(通常是图像)的噪声。然后,反向扩散过程逐渐去除噪声,将其转化为正在建模的目标分布的样本。DM受非平衡热力学的启发,具有固有的高计算复杂性。由于高维空间中频繁的函数求值和梯度计算,这些模型在训练和推理阶段都会产生相当大的计算开销。这不仅会妨碍基于扩散的建模的民主化,而且会阻碍扩散模型在实际应用中的适应性。原创 2022-10-26 22:14:53 · 1718 阅读 · 0 评论 -
Score-based diffusion models for accelerated MRI
近年来,磁共振成像(MRI)的亚采样测量重建方法取得了很大进展。正则化重建方法利用手工制作的先验数据的稀疏性以及数据的一致性来得出解决方案(Donoho,2006),但先验的构造是十分重要的,并且没有一种方法能够正确地建模MRI扫描的实际复杂数据分布pdatap_{data}pdata。数据驱动的深度学习方法可以直接(Wang等人,2016)或间接(Oh等人,2020;Yaman等人,2020)训练模型,但这些方法严重依赖于精心策划的k空间数据大型数据库的监督,这很难获得。原创 2022-10-25 22:32:13 · 2580 阅读 · 6 评论