风巽·剑染春水-CSDN博客

原创【技术追踪】MMFusion：用于食管癌淋巴结转移诊断的多模态扩散模型（MICCAI-2024）

本研究提出了一种基于多模态异构图的条件特征引导扩散模型，用于基于 CT 图像以及临床测量和影像组学数据的淋巴结转移诊断。为了探究多模态特征之间的复杂关系，本文构建了一个异构图。随后，采用条件特征引导的扩散方法以消除信息冗余。此外，提出了一种 masked 关系表示学习策略，旨在揭示原发肿瘤和淋巴结图像表征之间的潜在预后相关性和优先级。

2025-06-12 20:55:29 767

原创【技术追踪】纵向 MRI 生成和弥漫性胶质瘤生长预测的治疗感知扩散概率模型（TMI-2025）

本文提出了一种治疗感知扩散概率模型（TaDiff）用于纵向MRI生成和弥漫性胶质瘤生长预测。该模型能够联合预测未来肿瘤掩模和多参数MRI图像，并考虑不同治疗方案的影响。通过将序列MRI和治疗信息作为条件输入，TaDiff利用扩散模型和深度分割网络实现生成与分割的联合优化。实验表明，该方法不仅能生成高质量的MRI图像和肿瘤分割结果，还能提供不确定性估计，为临床决策提供支持。

2025-06-11 22:09:43 612

原创【技术追踪】ADDP：通过交替去噪扩散过程学习用于图像识别和生成的通用表示（ICLR-2024）

本文提出了一种交替去噪扩散过程（ADDP），旨在通过单一框架整合像素和矢量量化（VQ）空间，以同时提升图像识别和生成任务的性能。传统方法通常独立处理识别和生成任务，且生成模型多基于VQ空间，而识别模型则依赖像素输入。ADDP通过交替去噪步骤，首先从VQ tokens解码出像素，再基于这些像素生成新的VQ tokens，逐步恢复图像。实验表明，ADDP在无条件生成、ImageNet分类、COCO目标检测和ADE20k语义分割等任务上均表现出色，成为首个成功开发出适用于生成和密集识别任务的通用表示方法。

2025-05-22 23:24:41 790

原创【技术追踪】DiCo：为可扩展和高效的扩散建模而复兴 ConvNets

本文提出了一种新的扩散卷积网络（DiCo），旨在替代现有的扩散Transformer（DiT）模型，以提高生成效率和性能。DiCo通过引入紧凑的通道注意力机制（CCA），减少了卷积神经网络（ConvNet）中的通道冗余，增强了特征多样性。实验表明，DiCo在ImageNet基准测试中，无论是图像质量还是生成速度，均优于现有的扩散模型。例如，DiCo-XL在256×256分辨率下达到了2.05的FID，生成速度比DiT-XL/2快2.7倍。此外，DiCo-H模型在ImageNet 256×256上达到了1.9

2025-05-20 10:36:05 935

原创【技术追踪】心脏生理学知识驱动的扩散模型用于无对比剂心肌梗死增强（MICCAI-2024）

本文提出了一种心脏生理学知识驱动的扩散模型（CPKDM），用于无对比剂心肌梗死增强（MIE）合成。该模型首次将心脏生理学知识整合到心脏MR数据中，通过心脏力学和MR成像图谱知识分别指导运动学和形态学特征的学习，并利用运动学-形态学扩散整合模型逐步融合这些特征，实现精确的MIE合成。实验结果表明，CPKDM在195名患者的数据集上显著优于五种最新方法，SSIM至少提高了4%，展示了其在临床诊断中的潜力。该技术不仅消除了造影剂的使用风险，还简化了临床工作流程，具有重要的临床应用价值。

2025-05-19 10:38:09 782

原创【技术追踪】CoLa-Diﬀ：用于多模态 MRI 合成的条件潜在扩散模型（MICCAI-2023）

本文介绍了CoLa-Diff，首个基于潜在扩散模型（LDM）的多模态MRI合成方法。该方法旨在解决临床实践中MRI模态缺失的问题，通过在多模态MRI输入中平衡多种条件，有效利用多模态信息。CoLa-Diff在潜在空间中运行，降低了内存消耗，并引入了相似协同滤波和脑区掩模作为先验信息，以保持解剖结构。此外，提出了自动权重适应方法，以优化多模态信息的利用。实验结果表明，CoLa-Diff在MRI合成任务中优于现有方法，展示了其作为多模态MRI合成工具的潜力。

2025-05-14 10:07:34 877

原创【技术追踪】InverseSR：使用潜在扩散模型进行三维脑部 MRI 超分辨率重建（MICCAI-2023）

本文提出了一种基于潜在扩散模型（LDM）的三维脑部MRI超分辨率方法，旨在解决临床MRI扫描中常见的低分辨率问题。传统深度学习方法在输入分布变化时需要重新训练，而本文方法通过LDM构建强大的三维图像先验，避免了这一问题。具体而言，本文提出了两种策略：InverseSR(LDM)和InverseSR(Decoder)，分别适用于高稀疏性和低稀疏性的超分辨率场景。实验结果表明，LDM提供的先验能够有效提升MRI图像的分辨率，且该方法具有广泛的适用性，能够应对不同输入测量的MRI超分辨率问题。

2025-05-13 21:29:48 1071

原创【技术追踪】通过潜在扩散和先验知识增强时空疾病进展模型（MICCAI-2024）

本文介绍了基于潜在扩散的新型时空疾病进展模型—— Brain Latent Progression（BrLP）。BrLP 旨在预测个体在三维脑 MRI 上的疾病进展。为完成这一任务而开发的现有深度生成模型主要以数据驱动为主，面临学习疾病进展的挑战。BrLP 通过结合疾病模型的先验知识来增强预测的准确性，解决了这些挑战。为了实现这一点，本文建议整合一个辅助模型来推断不同脑区的体积变化。

2025-05-06 22:57:42 946

原创【技术追踪】基于扩散模型的脑图像反事实生成与异常检测（TMI-2024）

本文提出了一种弱监督方法来生成一个疾病图像的健康版本，然后使用它来获得像素异常图。为此，本文首先使用 ACAT 生成一个大致覆盖病理区域的显著性图，然后，本文提出了一种技术，允许对这些区域进行有针对性的修改，同时保留图像的其余部分。

2025-04-27 21:41:25 657

原创【安装部署】Linux下最简单的 pytorch3d 安装

Linux下最简单的 pytorch3d 安装

2025-04-22 20:12:32 753

原创【技术追踪】Differential Transformer（ICLR-2025）

Transformer 倾向于过度分配注意力到无关的上下文。在这项工作中，本文引入了 DIFF Transformer，它放大了对相关上下文的注意力，同时消除了噪声。具体来说，差分注意力机制（differential attention mechanism）将注意力分数计算为两个独立的 softmax 注意力图之间的差。减法可以消除噪声，促进稀疏注意力模式的出现。

2025-04-21 21:46:29 768

原创【显卡占用】kill程序后，显卡仍被占用

如果 kill 程序执行了，但显卡仍然显示被占用，咋个办？

2025-04-21 21:42:32 216

原创【技术追踪】用于医学图像分割的 Diffusion Transformer U-Net（MICCAI-2023）

扩散模型在各种生成任务中展现了其强大的能力。然而，在医学图像分割中应用扩散模型时，仍需克服几个障碍：（1）扩散过程中条件化所需的语义特征与噪声嵌入不能很好地对齐；（2）扩散模型中使用的U-Net主干对反向扩散过程中准确像素级分割所必需的上下文信息不敏感。为了克服这些局限性，本文提出了一个交叉注意力模块来增强来自源图像的条件，并提出了一个基于 Transformer 的 U-Net，具有多尺寸窗口，用于提取不同尺度的上下文信息。

2025-04-19 17:58:38 819

原创【技术追踪】DiffDGSS：基于扩散模型的确定性表示进行泛化性视网膜图像分割（MICCAI-2024）

为了充分利用强大的预训练去噪扩散概率模型（DDPM），本文提出了一种名为 DiffDGSS 的新框架，旨在挖掘扩散模型的潜在表示，以实现域泛化语义分割（Domain Generalizable Semantic Segmentation, DGSS）

2025-02-20 21:52:33 1258

原创【技术追踪】DiﬀMIC：用于医学图像分类的双引导扩散网络（MICCAI-2024）

扩散概率模型最近在生成式图像建模中表现出了显著的性能，引起了计算机视觉界的广泛关注。然而，大量的基于扩散的研究集中在生成任务上，很少有研究将扩散模型应用于一般的医学图像分类。本文提出了第一个基于扩散的模型（称为 DiffMIC）来实现医学图像分类，DiffMIC 能够消除医学图像中的意外噪声和扰动，并稳健地捕获语义表示。为此，本文设计了一种双重条件引导策略，通过多个粒度对每个扩散步骤进行条件化，以改善逐步区域注意力。

2025-02-05 10:25:09 831

原创【Diffusion实战】基于 Stable Diffusion 实现 Img2Img、Inpainting 和 Depth2Image（Pytorch代码详解）

来试试 Stable Diffusion 在图像编辑中的应用吧~

2025-02-03 10:25:50 1072

原创【SAM分割】医学图像分割任务中 SAM 的准确性

SAM 是图像分割的基础模型，它使用来自 1100 万张自然图像的超过 10 亿个 mask 进行训练。该模型可以通过使用各种提示（如 masks、boxes 和 points）来执行图像的 zero-shot 分割。本文探索了：（1）SAM 在 12 个公开医学图像分割数据集上的准确性，这些数据集涵盖了各种器官（脑、乳房、胸部、肺、皮肤、肝、肠、胰腺和前列腺）、图像模式（2D X光、组织学、内镜、3D MRI 和 CT）和健康状况（正常、病变）；

2025-01-17 10:17:08 1178

原创【SAM分割】基于交叉特征注意力和上下文的超声图像SAM分割（ECCV-2024）

SAM 在自然图像分割领域取得了显著的成功，但其在医学成像领域的应用遇到了挑战。具体而言，SAM 在处理低对比度、边界模糊、形态复杂和小尺寸物体的医学图像时存在困难。为了解决这些挑战，并提高 SAM 在医疗领域的性能，本文引入了一个全面的改进：首先，将一个冻结的卷积神经网络（CNN）分支作为图像编码器，通过一个新的变分注意融合模块与 SAM 的原始的 Vision Transformer（ViT）编码器协同使用。这种集成增强了模型捕获局部空间信息的能力，这在医学图像中通常是至关重要的。

2025-01-15 11:37:04 1453

原创【源码编译】windows11下安装GMP和MPFR（各种踩坑记录，亲测成功~）

因为要用UMFPACK，所以要安装SuiteSparse库，而GMP和MPFR是SuiteSparse库的依赖，这俩又不能直接Cmake编译，又学习了一种新的手段，记录一下。

2024-12-26 15:37:17 1802 5

原创【源码编译】windows下mingw64安装以及cmake调用

最近因为安装MIRTK库，太多第三方依赖了，太折磨了，学习了使用Cmake，有些库又需要Fortran编译器，VS2022里面装了但又调用不了，也不知道为什么，最后装的mingw64，记录一下。

2024-12-25 20:19:59 1063

原创【报错解决】vsvars32.bat 不是内部或外部命令，也不是可运行的程序或批处理文件

cmd中将路径cd到上述路径下，直接运行 call vsvars32.bat

2024-12-18 22:15:02 483

原创【Diffusion综述】扩散模型在 MRI 影像中的应用

本文介绍了两种主要的 DPMs 的理论，并根据扩散时间步长是离散的还是连续的进行了分类，然后对 MRI 中的 DPMs 进行了全面的综述，包括重建、图像生成、图像转译、分割、异常检测以及进一步的研究方向。最后，讨论了 DPMs 的一般局限性以及特定于MRI任务的局限性，并指出了值得进一步探索的潜在领域。

2024-09-24 14:58:31 2859

原创【技术追踪】基于扩散模型的医学图像合成与测量指导（TPAMI-2024）

本文从数据分布的角度对以前的指导及其对进一步应用的贡献进行了分析。为了合成有助于下游应用的样本，本文在每个采样步骤中引入不确定性指导，并设计了一个不确定性引导扩散模型。在四个医学数据集上进行实验，在生成样本集上训练10个经典网络，为本文方法的实际贡献提供了全面的评价。此外，还为扩散模型中的一般梯度指导提供了理论保证，这将有助于进一步研究面向特定生成任务其他形式的测量指导。

2024-07-23 10:04:39 1774

原创【技术追踪】TeethDreamer：从 5 张口腔照片实现三维牙齿重建（MICCAI-2024）

TeethDreamer：一种3D牙齿重建新框架，旨在恢复上下牙齿的形状和位置，引入大型扩散模型的先验知识和3D感知特征注意力机制，重建性能表现SOTA！

2024-07-18 22:53:58 3357

原创【技术追踪】使用去噪扩散型进行 3D 血管图生成（MICCAI-2024）

本文提出了第一个去噪扩散模型在 3D 血管图生成中的工作，其是新颖的两阶段生成方法，依次对节点坐标和边进行去噪，在生成多样化、新颖且解剖学上合理的血管图方面性能表现出色。

2024-07-14 22:40:42 1625

原创【技术追踪】HiDiff：医学图像分割的混合扩散框架（TMI-2024）

HiDiff：一种用于医学图像分割的新型混合扩散框架，它可以协同现有判别分割模型和新型生成扩散模型的优势，在腹部器官、脑肿瘤、息肉和视网膜血管分割数据集上性能表现 SOTA ！

2024-07-11 20:43:02 2140

原创【技术追踪】DiffuMatting：使用抠图级别注释合成任意对象（ECCV-2024）

获得高精度或抠图注释是非常困难和费力的，为了解决这一挑战，本文提出了 DiffuMatting，它继承了扩散强大的万物生成能力，并赋予了“matting anything”的能力。

2024-07-09 20:55:34 1203

原创【技术追踪】GeCA：高分辨率医学图像合成的神经元胞扩散（MICCAI-2024）

本文提出一种称为生成式元胞自动机 (Generative Cellular Automata，GeCA) 的新模型系列，其灵感来自于生物体从单细胞进化而来的过程，显著提高了11 种不同眼科疾病分类任务的表现。

2024-07-07 16:16:29 1151

原创【技术追踪】MedCLIP-SAM：桥接文本和图像实现通用医学图像分割（MICCAI-2024）

MedCLIP-SAM：一种通用医学图像分割新框架，将 CLIP 和 SAM 基础模型相结合，以获得基于文本提示的通用医学图像分割，并提出 DHN-NCE 新损失函数，性能表现出色~

2024-07-04 15:55:36 4110 4

原创【技术追踪】SegGuidedDiff：基于分割引导扩散模型实现解剖学可控的医学图像生成（MICCAI-2024）

扩散模型能够实现高质量的医学图像生成，但在生成的图像中实现解剖约束具有挑战性。为此，本文提出了一种基于扩散模型的方法，通过支持解剖可控的医学图像生成，在每个采样步骤中遵循多类解剖分割 mask。此外，还引入了一种随机 mask 消融训练算法，以实现对选定的解剖约束组合的调节，同时允许其他解剖区域的灵活性。本文将所提出的方法 SegGuidedDiff 与乳腺MRI和腹部/颈部到骨盆CT数据集的现有方法进行了比较，这些数据集具有广泛的解剖目标。

2024-07-01 21:20:23 2063 2

原创【技术追踪】UNest：一种用于非配对医学图像合成的新框架（MICCAI-2024）

非配对医学图像合成的目的是为准确的临床诊断提供补充信息，并解决获得对齐的多模态医学扫描的挑战。由于Transformer能够捕获长期依赖关系，他们在图像转换任务中表现非常出色，但只是在监督训练中有效，在非配对图像转换中性能下降，特别是在合成结构细节方面。本文的经验证明，在缺乏成对数据和强归纳偏差的情况下，Transformer会收敛到非最优解。

2024-06-29 10:05:31 1386

原创【技术追踪】SDSeg：医学图像的 Stable Diffusion 分割（MICCAI-2024）

扩散模型已经证明了它们在各种生成任务中的有效性。然而，当应用于医学图像分割时，这些模型遇到了一些挑战，包括大量的资源和时间需求。他们还需要一个多步骤的反向过程和多个样本来产生可靠的预测。为了解决这些挑战，本文引入了第一个 latent diffusion 分割模型 SDSeg，建立在 stable diffusion（SD）上。SDSeg 采用了一个简单的 latent 估计策略，以促进单步反向过程，并利用潜在融合连接来消除对多个样本的必要性。

2024-06-27 20:33:18 3309 8