MICCAI 2022中的医学扩散模型

最新推荐文章于 2025-02-27 13:29:47 发布
最新推荐文章于 2025-02-27 13:29:47 发布
阅读量2.2k 收藏 6
点赞数
文章标签： 人工智能 计算机视觉
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247498963&idx=2&sn=2d992540628952381cbea116ef3f4bdd&chksm=fe2a5e68c95dd77ee33c1d97b9cee810131ab908f375c25a4e9b9388a3bbdb96de23591d6110&scene=126&sessionid=0
版权

来源：知乎—JunMa

地址：https://zhuanlan.zhihu.com/p/569555913

没有意外，diffusion model的热浪也涌入了医学图像，这是今年MICCAI看到的几篇有意思的文章。

申明：由于笔者视野狭窄以及精力不足，一定错过了不少优秀的扩散模型相关的MICCAI文章，请大佬们评论区补充。文字内容是个人理解，请带着批评和质疑阅读，不要全信。

e937c8286ed59bc550356109cbe7be62.jpeg

任务介绍：给定起始时间心脏MR图像和终止时间图像，设计一个模型，能连续的给出中间时间点的图像。

3a80e25b622d6e36d927d8ed5bccdc04.jpeg

思路简介：用DDMP生成latent code （其实就是噪声），另一个网络基于latent code生成形变场，把source图像形变到target图像

1133778a85c75988e83b80a7b0fdc28d.jpeg

inference阶段：

  1. 输入target image，生成latent code，然后对其缩放（  ）来模拟不同时间点的latent code;

  2. latent code送到deformation module里生成形变场，对source图像S形变生成 中间时间点的图像。

随笔：

刚看这篇文章的时候挺困惑的，在inference阶段跟DDPM完全不一样，没有输入噪声也没做reverse process，DDPM在这个框架里只用来生成latent code，为啥不用更简单的VAE呢？可能这样设计的原因是DDPM的输出跟原图大小是一样的，方便生成形变场。作者说从有这个idea，到文章写完，她只画了两个月时间，圈里真是好卷

18170f919b4c339c35fd1783c151f232.jpeg

任务介绍：输入有病灶的图像，设计模型输出其对应的没有病灶的图像，两者相减即可生成异常区域的map

fbf61ce3e40a8ece060a40ebafc8678d.jpeg

思路简介：在包含健康和带病变的图像上训练一个DDPM，同时训练一个分类器来区分带噪声的健康和病变图像（即DDPM前向过程中的中间结果）。

inference过程中输入带病变的图像，用训练好的分类器做引导，生成对应的无病灶图像。

Note: Reverse过程用的是DDIM做采样，不是默认的DDPM，有两个好吃：速度快+结果是确定的。

c76c6c9adf17d65ecb243d1341217923.jpeg

随笔：展示的例子病变都比较清晰，不知道对不清晰的病灶检测能力怎么样；如果输入一张正常的图像，用分类器引导它生成带病变的图像，比较好奇会在什么地方生成病灶，生成病灶的这些地方是不是常见的发病区域呢？

下面两篇文章都是用扩散模型做MR重建，但思路不一样，一个是在K-space做，另一个是主要在image-space做，用K-space信息做引导。

19274d0a368e7a5b72bd0a6f4d78c14c.jpeg 4928bf8497c690a6415966eb23f3ec05.jpeg

思路简介：整体流程是基于conditional DDPM，这也是在图像转换过程中最常用的模型。整个diffusion和reverse过程定义在K-space，而不是image space；condition是under-sampling mask （不是under-sample k-space）。reverse过程可以通过不同的噪声初始化得到多个采样结果，进而可以量化重建结果的uncertainty，比如pixel-variance。

fa0d213524212176f498634a63211941.jpeg 670210770e0d26054bd8326687adceb0.jpeg

作者提出已有工作存在两方面的不足：1）有监督学习的范式 只能处理一种情况下的下采样，不同的下采样需要训练不同的模型；2）确定性的建模过程，inference阶段模型只能给出一个结果，而不是所有可能结果的分布p(full MR|undersampling MR)

f29a0dc11a620004dae5c62371b151a3.jpeg

思路简介：先在全采样的MR图像上训练unconditional DDMP，然后用under-sampling k-space数据来引导模型生成对应的全采样图像，引导过程如下：1）给under-sampling k-space加高斯噪声；2）同时把基于训练的好的DDMP生成的图像变到k-space；3）通过公式（5）融合1）+2）逆变换到图像空间

e3297f86046fad2de9b4c1f65c282944.jpeg

这种思路的好处是一个训练的好的模型适用于不同的undersampling的情况，不用重新训练多个模型。

9d607f99b013af9659c2687d76fe3d08.jpeg

为了加速采样，作者提出了coarse-to-fine的策略

  • coarse：不跑完整的reverse过程，而是每隔50步采样一次

  • fine: 同时采样多个图像，最终求平均得到refine的结果

后记

个人比较喜欢后两个工作，把DDPM跟MR成像机理巧妙的结合在一起。diffusion model很适合做image-to-image translation的任务，相信接下来在medical image领域会有更多的成果出来。

机器学习顶会ICLR2021和2022都把outstanding paper之一授予了diffusion model相关的工作， ICLR 2023提交论文今天在open review放出来了，可以用diffusion model作为关键词搜索下相关文章，感受下其热度

https://openreview.net/group?id=ICLR.cc/2023/Conference

 
 
 
 
本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
 
 
猜您喜欢：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

 戳我，查看GAN的系列专辑~！一顿午饭外卖，成为CV视觉的前沿弄潮儿！
最新最全100篇汇总！生成扩散模型Diffusion ModelsECCV2022 | 生成对抗网络GAN部分论文汇总
CVPR 2022 | 25+方向、最新50篇GAN论文
 ICCV 2021 | 35个主题GAN论文汇总
超110篇！CVPR 2021最全GAN论文梳理
超100篇！CVPR 2020最全GAN论文梳理拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成
附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》
《礼记·学记》有云：独学而无友，则孤陋而寡闻
欢迎加入 GAN/扩散模型 —交流微信群 ！
扫描下面二维码，添加运营小妹好友，拉你进群。发送申请时，请备注，格式为：研究方向+地区+学校/公司+姓名。如 扩散模型+北京+北航+吴彦祖

请备注格式：研究方向+地区+学校/公司+姓名
点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！
 


                

        

    

  



    


                



	

		

			

				
					
MICCAI‘23 | 基于条件扩散模型的弱监督医学图像分割

				
			

			

				

					小白学视觉
				

				

					01-21
					
					91
					
				

			

		

		

			
				
最近在去噪扩散概率模型方面的进展在图像合成任务中取得了巨大成功。虽然已经有一些工作在探索这种强大工具在图像语义分割中的潜力，但其在弱监督语义分割（WSSS）中的应用仍然相对较少。观察到条件扩散模型（CDM）能够生成符合特定分布的图像，本文利用CDM中蕴含的类别感知语义信息，仅通过图像级别的标注来获取目标对象的预测掩码。具体来说，作者通过近似CDM输出相对于输入条件的导数来定位所需类别。作者的方法不同于以前的通过外部分类器指导的扩散模型方法，这些方法在重建过程中会在背景中累积噪声。

			
		

	



                

            
              



	

		

			

				
					
医学顶会 MICCAI‘24 | 解剖学可控的医学图像生成：分割引导的扩散模型

				
			

			

				

					小白学视觉
				

				

					01-05
					
					198
					
				

			

		

		

			
				
扩散模型使得医学图像生成的质量非常高，但在生成的图像中加入解剖学约束仍然是一个挑战。为此，我们提出了一种基于扩散模型的方法，该方法通过在每个采样步骤中遵循多类解剖学分割掩模来支持解剖学可控的医学图像生成。此外，我们还引入了一种随机掩模消融训练算法，使得在允许其他解剖区域灵活的同时，能够对选定的解剖学约束组合进行条件控制。我们在带有各种解剖对象的乳房 MRI 和腹部/颈部至盆腔 CT 数据集上与现有方法进行了比较。

			
		

	



              


  
              

                


	

		

			

				
					
NeurIPS 2022 | 能量函数指导的图图翻译扩散模型

				
			

			

				

					weixin_66945478的博客
				

				

					10-24
					
					1833
					
				

			

		

		

			
				
最近来自人民大学李崇轩课题组的研究者们提出了一种基于能量函数的扩散模型生成指导方法 EGSDE。该方法旨在通过预定义的能量函数对预训练好的扩散模型进行指导，从而实现可控生成。现有指导生成方法如 classifier-guidance 等可以理解为 EGSDE 的特例。理论上，研究者从专家乘积（PoE）的角度解释了 EGSDE 的采样分布。
值得一提的是，该项目利用了幻方AI深度学习训练平台的算力及加速性能，在无监督的图到图翻译任务上进行了大量实验。

			
		

	





	

		

			

				
					
【Diffusion综述】医学图像分析中的扩散模型（一）

				
			

			

				

					风巽·剑染春水的博客
				

				

					03-31
					
					7302
					
				

			

		

		

			
				
去噪扩散模型（Denoising diffusion models）是一类生成模型，最近在各种深度学习问题中引起了极大的兴趣。扩散概率模型定义了一个正向扩散阶段，在这个阶段中，输入数据通过加入高斯噪声在几个步骤中逐渐受到扰动，然后学习反向扩散过程以从有噪声的数据样本中恢复所需的无噪声数据。扩散模型因其强大的模式覆盖和生成样本的质量而被广泛赞赏，尽管其已知的计算负担。

			
		

	



		

			
		



	

		

			

				
					
转投ICCV 2025交流群！还有ICML、IJCAI和MICCAI 25 投稿群成立！

				
			

			

				

					阿木寺的博客
				

				

					02-27
					
					128
					
				

			

		

		

			
				
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信：CVer2233，助手会拉你进群！扫描下方二维码，加入CVer学术星球！可获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪必备！ICCV 2025投稿交流群来了扫码下方二维码或者添加微信号：CVer2233，一定要备注ICCV202...

			
		

	





	

		

			

				
					
MICCAI 2022论文集分享

				
			

			

				

					qq_43288368的博客
				

				

					10-21
					
					5284
					
				

			

		

		

			
				
MICCAI 2022论文集百度y分享.

			
		

	





	

		

			

				
					
MICCAI 2022 | ASA：用于预训练脑核磁分割的注意力对称自动编码器

				
			

			

				

					阿木寺的博客
				

				

					10-09
					
					1158
					
				

			

		

		

			
				
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达题目：MICCAI 2022 | ASA：用于预训练脑核磁分割的注意力对称自动编码器开源作者：黄俊嘉 李灏峰论文地址：https://arxiv.org/abs/2209.08887代码地址：https://github.com/lhaof/ASA本文解读了深圳市大数据研究院联合中山大学发表在MICCAI 2022的《Attent...

			
		

	





	

		

			

				
					
【Diffusion综述】扩散模型在 MRI 影像中的应用

				
			

			

				

					风巽·剑染春水的博客
				

				

					09-24
					
					2635
					
				

			

		

		

			
				
本文介绍了两种主要的 DPMs 的理论，并根据扩散时间步长是离散的还是连续的进行了分类，然后对 MRI 中的 DPMs 进行了全面的综述，包括重建、图像生成、图像转译、分割、异常检测以及进一步的研究方向。最后，讨论了 DPMs 的一般局限性以及特定于MRI任务的局限性，并指出了值得进一步探索的潜在领域。

			
		

	





	

		

			

				
					
MICCAI 2024 | 用于医学图像到图像翻译的交叉条件扩散模型

				
			

			

				

					小白学视觉
				

				

					02-10
					
					192
					
				

			

		

		

			
				
多模态磁共振成像（MRI）为分析疾病提供了丰富、互补的信息。然而，获取多种MRI模态的实际挑战，如成本、扫描时间和安全考虑，通常导致数据集不完整。这影响了诊断的质量和基于此类数据训练的深度学习模型的性能。最近在生成对抗网络（GANs）和去噪扩散模型方面的进展，在自然和医学图像到图像翻译任务中显示出了希望。然而，GANs的训练复杂性和扩散模型相关的计算开销阻碍了它们在这项任务中的发展和应用。为了解决这些问题，作者提出了一种用于医学图像到图像翻译的交叉条件扩散模型（CDM）。

			
		

	





	

		

			

				
					
医学顶会 MICCAI‘24 | No-New-Denoiser: 医学图像去噪中扩散模型的批判性分析

				
			

			

				

					小白学视觉
				

				

					01-22
					
					380
					
				

			

		

		

			
				
最初用于图像生成的扩散模型，最近作为一种有前景的图像去噪方法受到了关注。在这项工作中，我们进行了全面的实验，以调查将扩散模型应用于医学图像去噪时所面临的挑战。在医学成像中，保留原始图像内容，并避免添加或移除潜在的病理细节至关重要。通过实证分析和讨论，我们强调了在基于扩散的去噪背景下，图像感知和失真之间的权衡。特别是，我们证明了标准的扩散模型采样方案与一步去噪相比，会导致信噪比（PSNR）降低高达14%。

			
		

	





	

		

			

				
					
MICCAI‘24 | 对抗扩散模型用于支气管镜导航中的领域自适应深度估计

				
			

			

				

					小白学视觉
				

				

					01-11
					
					53
					
				

			

		

		

			
				
在支气管镜导航中，深度估计作为一种有前景的方法，因其在定位摄像机和获取场景几何结构方面具有更高的鲁棒性而受到关注。尽管许多监督方法在自然图像上显示出成功，但深度标注的稀缺限制了它们在支气管镜场景中的部署。为了解决缺乏深度标签的问题，无监督领域适应（UDA）的一种常见方法包括通过生成对抗网络进行一次性映射。然而，传统的直接恢复图像分布的对抗模型可能会因为样本保真度降低和学习偏差而受到影响。在本研究中，作者提出了一种新的对抗扩散模型，用于支气管镜图像的领域自适应深度估计。

			
		

	





	

		

			

				
					
MICCAI 2022 KiPA Challenge：肾脏多器官分割挑战赛

				
			

			

				

					117瓶果粒橙
				

				

					04-22
					
					2178
					
				

			

		

		

			
				
国际顶会竞赛！获奖证书和丰厚奖金！还能共同撰写顶刊论文？！！

全新的医学图像分割挑战赛开始啦~~~~

                     

肾脏解析(Kidney PArsing) ，是肾癌治疗中的最重要任务之一。 其中，肾脏多器官分割 (Multi-Structure Segmentation for Renal Cancer Treatment) 旨在三维CT图像中，分割出肾脏、肿瘤、动脉和静脉，具有至关重要的临床意义。

KiPA 挑战赛官网h...

			
		

	





	

		

			

				
					
MICCAI 2022 | 深圳大学医学部智能超声实验室6篇论文分享！

				
			

			

				

					阿木寺的博客
				

				

					07-08
					
					2599
					
				

			

		

		

			
				
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群MICCAI是智能医学影像分析领域公认的老牌国际顶级会议（International Conference on Medical Image Computing and Computer Assisted Intervention），包括医学影像计算（MIC）和计算...

			
		

	





	

		

			

				
					
【Unconditional Latent Diffusion Models Memorize Patient Imaging Data】论文解读（扩散模型用来生成医学图像的效果）

				
			

			

				

					weixin_45897172的博客
				

				

					11-08
					
					879
					
				

			

		

		

			
				
AI 模型在医学领域有广泛的应用。然而，要实现最佳性能，需要访问大量医疗保健数据，而这些数据通常并不容易获得。此外，保护患者隐私的必要性限制了患者数据与第三方甚至机构内部的共享。最近，生成式 AI 模型通过提出合成数据作为真实患者数据的替代品，在促进开放数据共享方面获得了越来越多的关注。尽管前景光明，但这些模型容易受到患者数据记忆的影响，即模型生成患者数据副本而不是新的合成样本。这破坏了保护患者数据隐私的整个目的，甚至可能导致患者重新识别。

			
		

	





	

		

			

				
					
MICCAI 2022 | mmFormer:Multimodal Medical Transformer for Incomplete Multimodal Learning of BTS

				
			

			

				

					qq_45807235的博客
				

				

					12-17
					
					1544
					
				

			

		

		

			
				
从磁共振成像（MRI）中准确地分割脑肿瘤是多模态图像的联合学习所需要的。然而，在临床实践中，并不总是能够获得一套完整的MRI，缺失模态的问题导致现有多模态分割方法的性能严重下降。在这项工作中，我们首次尝试利用Transformer进行多模态脑肿瘤分割，该方法对可用模态的任何组合子集都具有鲁棒性。具体而言，我们提出了一种用于不完全多模态学习的新型多模态医学Transformer（mmFormer）。

			
		

	





	

		

			

				
					
MICAD2022正式成为MICCAI Society官方支持会议

				
			

			

				

					xiaoyu2007a的博客
				

				

					08-25
					
					661
					
				

			

		

		

			
				
8月24日，MICAD 2022组委会收到MICCAI Society的正式通知: MICAD2022会议通过MICCAI Education Working Group审核， 正式成为MICCAI协会官方支持会议, 即MICCAI Society Endorsed Event。

			
		

	





	

		

			

				
					
MICCAI 2022 | 基于对比学习和视觉Transformer的弱监督视频肠息肉检测

				
			

			

				

					阿木寺的博客
				

				

					09-25
					
					2252
					
				

			

		

		

			
				
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群一句话总结本文提出一种有效的基于视觉Transformer的弱监督视频异常检测架构来实现精准检测结直肠息肉。这也是首篇利用弱监督视频标签来进行肠息肉检测的研究， 文章基于之前数据集整理合并提出了一个全新的大型结直肠视频数据集用于息肉检测的研究。性能表现SOTA！代码和数据即将开源！Contr...

			
		

	





	

		

			

				
					
【技术追踪】基于扩散模型的医学图像合成与测量指导（TPAMI-2024）

				
			

			

				

					风巽·剑染春水的博客
				

				

					07-23
					
					1705
					
				

			

		

		

			
				
本文从数据分布的角度对以前的指导及其对进一步应用的贡献进行了分析。
  为了合成有助于下游应用的样本，本文在每个采样步骤中引入不确定性指导，并设计了一个不确定性引导扩散模型。

  在四个医学数据集上进行实验，在生成样本集上训练10个经典网络，为本文方法的实际贡献提供了全面的评价。此外，还为扩散模型中的一般梯度指导提供了理论保证，这将有助于进一步研究面向特定生成任务其他形式的测量指导。

			
		

	





	

		

			

				
					
MICCAI 2022：使用自适应条形采样和双分支 Transformer 的 DA-Net

				
			

			

				

					李响
				

				

					10-28
					
					1365
					
				

			

		

		

			
				
这是 MICCAI 2022 上的第三篇阅读笔记了，之前两篇也都可以在 GiantPandaCV 公众号搜索到。如下图所示，目前的视网膜血管分割方法按照输入数据划分有两类：image-level 和 patches-level，每一种方法都有自己的优势，如何将两者结合起来是一个需要去解决的问题，这也是 DA-Net 这篇文章的贡献之一。此外，这篇文章还提出了一个自适应的条状 Upsampling Block，我们会在后面展开介绍。

			
		

	





	

		

			

				
					
扩散模型噪声预测模型讲解

					
最新发布

				
			

			

				

					03-15
				

			

		

		

			
				
<think>嗯，用户想了解扩散模型中的噪声预测模型的工作原理和应用。首先，我需要回忆一下扩散模型的基本概念。扩散模型是通过逐步添加噪声到数据中，然后学习逆转这个过程来生成新数据的。噪声预测模型在这个过程中应该起到关键作用。

用户提到了工作原理、实现方式和应用，所以需要分点详细讲解。先从扩散模型的前向过程开始解释，也就是如何逐步添加噪声。这里可能需要提到时间步t和高斯噪声的应用。然后，逆向过程需要模型来预测噪声，这样就能一步步去噪生成数据。

接下来，噪声预测模型的具体工作原理可能需要数学公式的支持。比如，变分下界和损失函数的设计，这样用户能理解模型是如何被训练的。同时，要确保使用正确的LaTeX格式，比如$q(x_t|x_{t-1})$和损失函数$\mathcal{L}_{\text{simple}}$。

实现方式部分，需要介绍常用的网络结构，比如U-Net，并解释时间步嵌入的作用。这部分可能需要结合代码示例，但用户要求的是讲解，所以可能不需要完整的代码，但可以给出关键部分的伪代码或结构描述。

应用方面，用户可能想知道扩散模型在图像生成、艺术创作等领域的实际应用情况。这里可以引用之前提到的潜在扩散模型（Latent Diffusion Model）作为例子，说明其高效性。同时，医学图像和音频生成也是重要的应用领域，需要提及。

需要注意的是，用户提供的引用中提到了潜在扩散模型和扩散模型的训练步骤，所以需要确保在回答中正确引用这些内容，比如在逆向扩散过程或潜在空间应用的地方添加引用标记[^1]和[^2]。

可能还需要考虑用户的知识水平，避免使用过于专业的术语，或者在使用时进行适当的解释。例如，解释U-Net的结构时，可以简要说明其编码器-解码器结构和跳跃连接的作用，帮助读者理解为何选择这种网络。

另外，用户的问题可能隐含了对噪声预测模型为什么有效的疑问，比如为什么预测噪声能够帮助生成数据。这需要在原理部分进行解释，说明通过预测每一步的噪声，模型可以逐步还原出原始数据，类似于求解逆过程。

最后，生成的相关问题需要与扩散模型相关，可能涉及训练细节、与其他生成模型的比较，或者具体应用场景的深入探讨。这些问题应该引导用户进一步探索扩散模型的不同方面。

总结一下，回答的结构应该是：背景介绍、工作原理（前向和逆向过程）、噪声预测模型的数学原理、实现方式（网络结构和训练过程）、应用场景，最后是相关问题。确保每个部分都清晰，并且正确引用提供的参考资料。</think>### 扩散模型噪声预测模型详解

#### 一、噪声预测模型的核心原理
1. **前向扩散过程**  
   数据$x_0$逐步被添加高斯噪声，经过$T$步后变为纯噪声$x_T$。每一步的噪声强度由预设的方差表$\beta_t$控制，数学表达为：
   $$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$$  
   这一过程将原始数据分布逐步转化为可解析处理的高斯分布。

2. **逆向去噪过程**  
   噪声预测模型的核心目标是学习反向过程$p_\theta(x_{t-1}|x_t)$，通过预测当前时间步的噪声$\epsilon_\theta$，逐步恢复原始数据：
   $$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon_\theta(x_t,t)\right) + \sigma_t z$$
   其中$\alpha_t=1-\beta_t$，$\bar{\alpha}_t=\prod_{s=1}^t\alpha_s$，$z$为标准高斯噪声。

#### 二、数学建模与训练方法
1. **损失函数设计**  
   采用简化的均方误差损失：
   $$\mathcal{L}_{\text{simple}} = \mathbb{E}_{t,x_0,\epsilon}\left[\|\epsilon - \epsilon_\theta(x_t,t)\|^2\right]$$
   其中$\epsilon$为真实噪声，$\epsilon_\theta$为模型预测值，$x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$。

2. **训练流程**  
   - 随机采样时间步$t \sim \text{Uniform}(1,T)$
   - 生成带噪样本$x_t$
   - 计算模型预测噪声与真实噪声的误差
   - 通过梯度下降优化网络参数

#### 三、关键实现技术
1. **网络架构设计**  
   主流实现采用改进的U-Net结构：
   ```python
   class NoisePredictionUNet(nn.Module):
       def __init__(self):
           super().__init__()
           self.time_embed = SinusoidalPositionEmbedding()  # 时间步编码
           self.down_blocks = ResNetBlockStack(depth=4)     # 下采样模块
           self.mid_block = AttentionBlock()               # 注意力中间层
           self.up_blocks = ResNetBlockStack(depth=4)       # 上采样模块
   ```

2. **时间步编码技术**  
   使用正弦位置编码将时间步$t$映射为高维向量，增强模型对扩散过程阶段的感知能力：
   $$\gamma(t) = [\sin(10000^{k/d}t), \cos(10000^{k/d}t)]_{k=0}^{d/2}$$

#### 四、典型应用场景
1. **图像生成领域**  
   潜在扩散模型(LDM)通过在隐空间操作，显著提升生成效率，实现512x512分辨率图像的实时生成。

2. **跨模态生成**  
   结合CLIP等跨模态编码器，支持文生图、图生视频等任务，如Stable Diffusion生成系统。

3. **科学计算领域**  
   应用于医学图像重建（MRI去噪）、分子结构生成等场景，在MICCAI 2022比赛中取得SOTA效果。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值