MedSegDiff-V2

已于 2023-03-14 20:35:39 修改
阅读量2.4k 收藏 21
点赞数 7
分类专栏： # 扩散模型 文章标签： 深度学习 人工智能 机器学习
于 2023-03-09 12:18:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45745941/article/details/129417948
版权

MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer

摘要

  • 提出了一种新的基于transformer的conditional UNet框架
  • 一种新的Spectrum-Space
    Transformer(SSFormer)来建模噪声和语义特征之间的交互

引言

将基于transformer的UNet(如TransUNet)与DPM结合起来的策略导致了欠佳的表现

  • transformer-abstracted的条件特征与主干的特征不兼容
  • transformer从原始图像中学习深层语义特征，而扩散主干从损坏的、有噪声的掩模中抽象特征
  • transformer的动态和全局特性使其比cnn更敏感
  • 在MedSegDiff中使用自适应条件策略会导致变压器设置中输出的较大差异

本文提出的解决方法：

  1. 锚定条件：将条件分割特征集成到扩散模型编码器中以减小扩散方差（采用高斯空间注意力）
  2. 语义条件，将条件分割嵌入整合到扩散嵌入中（SS-Former）

为了有效地弥合扩散噪声嵌入和条件语义特征之间的差距，提出了一种新的transformer机制，称为频谱空间变压器(SS-Former)，学习它们之间的相互作用。这使得模型具有更小的扩散方差，同时还受益于transformer提供的全局和动态表示能力。

方法

整体结构

在这里插入图片描述

  • 锚定条件首先施加在扩散模型的编码器上，即条件模型的解码器分割特征，集成到扩散模型的编码特征中
  • 将条件模型的语义分割嵌入集成到扩散模型的嵌入，由SS-Former实现

损失函数：
在这里插入图片描述
噪声加上有监督锚点的损失

高斯空间注意力的锚定条件

高斯空间注意可以表示为:
在这里插入图片描述

  • *表示滑动窗口内核操作
  • 在fc上应用高斯核kG来平滑激活
  • kG的均值和方差是可学习的
  • 选择平滑映射与原始特征映射之间的最大值
  • 将fanc集成到fd中
  • 类似于空间注意力的实现

SS-Former语义条件

  • 由共享相同体系结构的几个块组成
  • 每个块由两个交叉注意模块组成

第一个模块将扩散噪声嵌入编码为条件语义嵌入，第二个模块将混合噪声的语义嵌入编码为扩散噪声嵌入。这使得模型能够学习噪声和语义特征之间的交互，并实现更强的表示。

  1. 由于扩散模型预测了噪声掩码输入中的冗余噪声，其嵌入与条件分割语义嵌入之间存在域差距
  2. 提出了一种新的光谱空间注意机制
  3. 将语义信息和噪声信息合并到傅里叶空间
  4. 不同频谱中基于频率亲和性的组件分离和混合
    在这里插入图片描述
    c0为条件模型的最深特征嵌入，e为扩散模型的最深特征嵌入
    首先将c0和e转移到傅里叶空间
    然后我们以e为q，c0为k，计算傅里叶空间上的权值映射

使用快速傅里叶反变换(IFFT)将映射转移回欧几里得空间，并应用于值中的条件特征

在这里插入图片描述
将时间嵌入应用于经典扩散实现之后的AdaIN归一化
从时间嵌入中学习到的缩放和移位参数扩展

实验结果

在这里插入图片描述

消融实验

在这里插入图片描述Anc.Cond. 代表 锚点调节

MedSegDiff：基于 Diffusion Probabilistic Model 的医学图像分割
李响
04-25 2740
在前面的一篇文章（ICLR 2023）中，我们已经介绍过了 diffusion model 在医学图像分割上的一个应用（https://mp.weixin.qq.com/s/7g3_4hHfKCAp2WQibkbzgA），推荐对 diffusion model 不了解的同学优先阅读，其中讲了一些基本概念。上一篇文章是将 diffusion 应用到自监督学习中，而 MedSegDiff 是一个有监督的框架，现在已更新到 V2 版本， V2 版本区别于 V1 使用了 Transformer，且适用于多分类。
LSegDiff: A Latent Diffusion Model for Medical ImageSegmentation
weixin_45622568的博客
02-20 1070
训练过程分为三个阶段。更确切地说，给定二进制掩码图像 𝑥∈ 𝑅 𝐻×𝐻×𝑅，编码器 𝜉 将 x 编码为潜在表示 𝑧 = 𝜉(𝑥)、解码器 𝐷 从潜在表示重建图像，得到 𝑥 = 𝐷(𝑧) = 𝐷(𝜉(𝑥))，其中 𝑧 ∈ 𝑅 类型×𝑤×𝑐。根据文献[6]，自编码器模型是以对抗的方式训练的，因此判别器𝐷𝜓是最优化的，以区分原始图像和重建图像𝐷(𝜉(𝑥))。在本研究中，医学图像分割算法通常利用先进的图像处理技术、机器学习和深度学习方法来分析医学图像，准确定位内窥镜图像中息肉的边界和皮肤镜图像中病变皮肤的区域。
MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer
weixin_45622568的博客
01-17 3680
最近的研究进一步揭示了DPM在医学图像分析领域的应用，正如医学图像分割模型在各种任务中表现出的令人称赞的性能所强调的那样。相比之下基于unet的MedSegDiff, MedSegDiff- v2在optical - cup上的得分提高了2.0%，在脑瘤上的得分提高了1.9%，在甲状腺结节上的得分提高了3.9%，强调了其基于变压器的主干的有效性。与日益流行的视觉变压器相比，经典的UNet模型在分割质量上有所妥协，这可能导致在集合中生成发散但不正确的掩模，最终引入永久阻碍性能的噪声。
MedSegDiff
qq_45745941的博客
03-09 1532
EIt是条件特征嵌入，本文中是原始图像嵌入，Ext是当前步骤的分割地图特征嵌入。步长索引t与添加的嵌入和解码器特性集成在一起。在每一种方法中，都使用共享的学习查找表进行嵌入。与空间注意不同，它对特定频率的分量进行全局调整。因此，可以学习约束高频分量进行自适应融合。主要思想：学习应用于傅里叶空间特征的参数化注意(权重)映射。FF-Parser可以看作是频率滤波器的一个可学习版本。验证所提出的动态调节和FF-Parser的有效性。作用：约束xt特征中与噪声相关的分量。损失函数：Unet中恢复噪声/图像。
《MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer》AAAI2024，CVPR2023
qq_46981910的博客
10-29 837
尽管这些模型最初是由UNet架构支撑的，但存在通过集成视觉Transformer机制来提高其性能的潜在途径。然而，简单地组合这两个模型会导致性能不佳。为了有效地将这两种前沿技术集成到医学图像分割中，本文提出了一种新的基于transformer的扩散框架，称为medsegdiv - v2。在具有不同图像模态的20个医学图像分割任务上验证了其有效性。通过综合评估，所提出方法证明了比之前最先进的（SOTA）方法的优越性。
【Diffusion分割】MedSegDiff-v2:Diffusion模型进行医学图像分割
qq_43583311的博客
09-25 1443
最近的研究揭示了 DPM 在医学图像分析领域的实用性，医学图像分割模型在各种任务中表现出的出色性能就证明了这一点。尽管这些模型最初是以 UNet 架构为基础的，但通过整合视觉Transformer机制，仍有可能提高其性能。然而，我们发现，简单地将这两个模型结合在一起会导致性能不佳。为了将这两种尖端技术有效地整合到医学图像分割中，我们提出了一种新颖的基于变换器的扩散框架，称为 MedSegDiffV2。我们在 20 个不同图像模式的医学图像分割任务中验证了它的有效性。
MedSegDiff-V2: Diffusion-Based Medical Image Segmentation with Transformer 论文总结
qq_45981086的博客
06-02 2181
扩散模型 + transformer + 医学图像分割
MedSegDiff： Medical Image Segmentation with Diffusion Probabilistic Model
qq_39333636的博客
02-28 5304
简单不看版本：这是作者的第一版本文章，总的来说比较简单。总共提出两点改进：1、由于医学图像较为特殊，病变组织很难与背景相区别，尤其是低分辨率的图像。另外作者认为原图中有很多目标的信息，但是很难分割，而扩散模型中的任意t时刻的分割图中有较为增强的分割目标信息，但不准确。基于这两点，作者提出了将两者融合互补的ideal。作者提出了一个动态条件编码器dynamic condition encoding，在每一步的时候都将两幅feature map进行融合。首先假设扩散模型已经生成了一张t时刻的feature ma
甲状腺结节分割论文复现
最新发布
04-01
EANet 提出了通过迭代边缘注意力机制来增强医学图像分割的效果[^1]，而 MedSegDiff-V2 则利用扩散模型和变压器架构进一步提升了多模态医学图像分割的表现[^2]。 #### 数据集选择 在医疗领域中，甲状腺结节检测通常...
Diffusion Transformer U-Net for MedicalImage Segmentation
weixin_45622568的博客
02-16 892
为了评估该方法的有效性和泛化能力，我们测试了不同的医学图像分割任务，包括:(1)结肠镜图像的息肉分割(Kvasir-SEG (KSEG) [10]， CVC- clinic DB (CVC)[1])，(2)皮肤镜图像的皮肤病变分割(ISIC 2017 (IS17 ') [5]， ISIC 2018 (IS18 ')[4,19])，以及(3)视网膜眼底图像的光学杯分割(REFUGE (REF)[14])。-我们用简单的连接操作取代了扩散模型中的交叉注意(CA)，并应用这种简化的扩散模型来训练U-Net。
深度学习-计算机视觉(CV)-医学图像分割
Worker_Black的博客
11-15 1499
记录一下研究生阶段的研究方向(医学图像分割)所看的论文以及所使用的数据集资源。
diffusion medical image segmentation
qq_44996943的博客
03-30 917
code：https://github.com/JuliaWolleb/Diffusion-based-Segmentation code: https://github.com/WuJunde/MedSegDiff Segmentation with Transformer
开源推荐：MedSegDiff——医疗影像分割的革新之路
gitblog_00064的博客
06-10 619
开源推荐：MedSegDiff——医疗影像分割的革新之路 MedSegDiffMedical Image Segmentation with Diffusion Model项目地址:https://gitcode.com/gh_mirrors/med/MedSegDiff 在医疗图像处理领域，精度与效率并重一直是科研人员追求的目标。今天，我们向您隆重推介一个在此领域内展现巨大潜力的开源项目——M...
MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model
walk_along_wall的博客
08-31 1080
据我们所知，我们是第一个提出基于 DPM 的通用医学图像分割模型的人。然而，最近的研究表明，它们对于标签是唯一的问题也有效，例如超分辨率(撒哈拉等人，2022b)，去模糊(Whang等人，2022)和分割(Amit等人，2021)。我们使用不同的图像模式对三种不同的医学任务进行了实验:眼底图像的光学杯分割，MRI图像的脑肿瘤分割，超声图像的甲状腺结节分割。我们验证了MedSegDiff在三种不同图像模式下的医学分割任务中的有效性，包括眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。
Medical Diffusion - Denoising Diffusion Probabilistic Models for 3D Medical Image Generation
通街是密人有的博客
11-11 2084
计算机视觉的最新进展已经在图像生成方面显示出有希望的结果。扩散概率模型尤其从文本输入中生成了真实的图像，如DALL-E 2、Imagen和Stable Diffusion所示。然而，它们在医学中的应用尚未得到系统评估，因为医学中的图像数据通常包括三维体积。合成图像可能在保护隐私的人工智能中起着至关重要的作用，也可以用于增强小数据集。这里我们展示了扩散概率模型可以合成高质量的医学成像数据，我们展示了磁共振图像（MRI）和计算机断层扫描（CT）图像。
【医学图像】图像分割系列.2 （diffusion）
m0_61899108的博客
05-24 7289
​ 介绍几篇使用diffusion来实现医学图像分割的论文：DARL（ICLR2023），MedSegDiff（MIDL2023）& MedSegDiff-V2（arXiv2023），ImgX-DiffSeg（arXiv2023） ​
论文阅读：MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model
weixin_46942074的博客
11-23 746
MedSegDiff：基于扩散概率模型的医学图像分割（高频信号）对应着图像变化剧烈的部分，也就是图像的边缘（轮廓）或者噪声以及细节部分。
MedSegDiff：医疗图像分割与差异分析利器
gitblog_00069的博客
04-11 583
MedSegDiff：医疗图像分割与差异分析利器 MedSegDiffMedical Image Segmentation with Diffusion Model项目地址:https://gitcode.com/gh_mirrors/me/MedSegDiff 项目简介 是一个开源的深度学习框架，专为医疗图像分割和差异分析提供解决方案。该项目由 WuJunde 创建，旨在帮助研究人员和开发者更...
C-V2X技术实施路线与5G-V2X商用探索
"该文档是关于C-V2X（蜂窝车联网）技术的产业实施路线，特别是ARM指令集的应用在其中的角色。文档介绍了C-V2X技术试验的阶段性进展，包括2019年前集中精力推动LTE-V2X技术试验，然后逐步过渡到5G-V2X，并详细阐述了...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨小杨1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值