MICCAI 2022中的医学扩散模型

来源：知乎—JunMa

地址：https://zhuanlan.zhihu.com/p/569555913

没有意外，diffusion model的热浪也涌入了医学图像，这是今年MICCAI看到的几篇有意思的文章。

申明：由于笔者视野狭窄以及精力不足，一定错过了不少优秀的扩散模型相关的MICCAI文章，请大佬们评论区补充。文字内容是个人理解，请带着批评和质疑阅读，不要全信。

任务介绍：给定起始时间心脏MR图像和终止时间图像，设计一个模型，能连续的给出中间时间点的图像。

思路简介：用DDMP生成latent code （其实就是噪声），另一个网络基于latent code生成形变场，把source图像形变到target图像

inference阶段：

1. 输入target image，生成latent code，然后对其缩放（  ）来模拟不同时间点的latent code;

2. latent code送到deformation module里生成形变场，对source图像S形变生成 中间时间点的图像。

随笔：

刚看这篇文章的时候挺困惑的，在inference阶段跟DDPM完全不一样，没有输入噪声也没做reverse process，DDPM在这个框架里只用来生成latent code，为啥不用更简单的VAE呢？可能这样设计的原因是DDPM的输出跟原图大小是一样的，方便生成形变场。作者说从有这个idea，到文章写完，她只画了两个月时间，圈里真是好卷

任务介绍：输入有病灶的图像，设计模型输出其对应的没有病灶的图像，两者相减即可生成异常区域的map

思路简介：在包含健康和带病变的图像上训练一个DDPM，同时训练一个分类器来区分带噪声的健康和病变图像（即DDPM前向过程中的中间结果）。

inference过程中输入带病变的图像，用训练好的分类器做引导，生成对应的无病灶图像。

Note: Reverse过程用的是DDIM做采样，不是默认的DDPM，有两个好吃：速度快+结果是确定的。

随笔：展示的例子病变都比较清晰，不知道对不清晰的病灶检测能力怎么样；如果输入一张正常的图像，用分类器引导它生成带病变的图像，比较好奇会在什么地方生成病灶，生成病灶的这些地方是不是常见的发病区域呢？

下面两篇文章都是用扩散模型做MR重建，但思路不一样，一个是在K-space做，另一个是主要在image-space做，用K-space信息做引导。

思路简介：整体流程是基于conditional DDPM，这也是在图像转换过程中最常用的模型。整个diffusion和reverse过程定义在K-space，而不是image space；condition是under-sampling mask （不是under-sample k-space）。reverse过程可以通过不同的噪声初始化得到多个采样结果，进而可以量化重建结果的uncertainty，比如pixel-variance。

作者提出已有工作存在两方面的不足：1）有监督学习的范式 只能处理一种情况下的下采样，不同的下采样需要训练不同的模型；2）确定性的建模过程，inference阶段模型只能给出一个结果，而不是所有可能结果的分布p(full MR|undersampling MR)

思路简介：先在全采样的MR图像上训练unconditional DDMP，然后用under-sampling k-space数据来引导模型生成对应的全采样图像，引导过程如下：1）给under-sampling k-space加高斯噪声；2）同时把基于训练的好的DDMP生成的图像变到k-space；3）通过公式（5）融合1）+2）逆变换到图像空间

这种思路的好处是一个训练的好的模型适用于不同的undersampling的情况，不用重新训练多个模型。

为了加速采样，作者提出了coarse-to-fine的策略

• coarse：不跑完整的reverse过程，而是每隔50步采样一次

• fine: 同时采样多个图像，最终求平均得到refine的结果

后记

个人比较喜欢后两个工作，把DDPM跟MR成像机理巧妙的结合在一起。diffusion model很适合做image-to-image translation的任务，相信接下来在medical image领域会有更多的成果出来。

机器学习顶会ICLR2021和2022都把outstanding paper之一授予了diffusion model相关的工作， ICLR 2023提交论文今天在open review放出来了，可以用diffusion model作为关键词搜索下相关文章，感受下其热度

https://openreview.net/group?id=ICLR.cc/2023/Conference

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

猜您喜欢：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

 戳我，查看GAN的系列专辑~！一顿午饭外卖，成为CV视觉的前沿弄潮儿！
最新最全100篇汇总！生成扩散模型Diffusion ModelsECCV2022 | 生成对抗网络GAN部分论文汇总
CVPR 2022 | 25+方向、最新50篇GAN论文
 ICCV 2021 | 35个主题GAN论文汇总
超110篇！CVPR 2021最全GAN论文梳理
超100篇！CVPR 2020最全GAN论文梳理拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成
附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》
《礼记·学记》有云：独学而无友，则孤陋而寡闻
欢迎加入 GAN/扩散模型 —交流微信群 ！
扫描下面二维码，添加运营小妹好友，拉你进群。发送申请时，请备注，格式为：研究方向+地区+学校/公司+姓名。如 扩散模型+北京+北航+吴彦祖

请备注格式：研究方向+地区+学校/公司+姓名
点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！