入选AAAI 2025！多模态医学图像融合新突破！

近年，多模态医学图像融合空前火热，顶会成果相当多。在前段时间刚结束的AAAI 2025大会上，就有一篇引起AI4S研究者关注的课题：由国内两大高校联合提出的BSAFusion，将图像配准与融合集成于统一框架，单阶段即可完成对齐与融合，开创了医学图像融合新技术方向。

如今，多模态医学图像融合搞创新更偏向基于深度学习的融合，主要是因为深度学习算法过于强大，特征提取能力、泛化能力都遥遥领先，还能和其他先进技术结合，进一步提升多模态医学图像融合各方面的效果，对于医学领域来说，是更佳选择，研究前景广阔。

上述成果也呈现了基于深度学习非主流，同时混合多种技术辅助的发展趋势，如果大家想发表相关论文，也还是建议从这角度入手。我这边整理了12篇多模态医学图像融合新成果，代码基本都有，需要的同学可无偿获取，顺便也点个赞支持下～

全部论文+开源代码需要的同学看文末

BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion

方法：本文提出了一种单阶段多模态医学图像配准与融合框架，通过共享特征编码器和引入模态差异消除方法，减少了模型复杂性，并通过双向逐步特征对齐策略和多模态特征融合模块实现了精确高效的特征对齐和融合。

创新点：

• 提出了一种单阶段的多模态医学图像配准与融合框架，区别于传统的两阶段方法，通过共享特征编码器来降低模型复杂度。

• 采用基于向量位移路径独立性的双向逐步对齐变形场预测策略，提升特征对齐的精度。

• MDF-FR通过将当前图像中MFRH的信息注入其他模态图像中，有效减小模态差异对特征对齐的负面影响。

Multimodal Medical Image Fusion Network Based on Target Information Enhancement

方法：研究提出了一种多模态MRI图像融合方法，通过引入基于信息熵的特征信息测量块、融合块和新损失函数，旨在增强图像的纹理信息和结构清晰度，并通过跨模态学习与信息增强技术实现不同模态下肿瘤特征的显著呈现。

创新点：

• 提出了基于信息熵的特征信息测量块，通过跳跃连接在编码和解码阶段间建立高效的特征通道筛选机制，增强了特征的复用性和纹理丰富性。

• 设计了一个融合块，用于提取和合并多模态深度特征。

• 提出了一个结合模态和组织加权的新损失函数，利用区域对比度指数来控制源图像信息的保留程度，关注在不同医学应用中关键的感兴趣区域。

Deep evidential fusion with uncertainty quantification and reliability learning for multimodal medical image segmentation

方法：本文提出一种结合Dempster-Shafer理论（DST）和深度神经网络的多模态医学图像分割方法，通过证据映射模块和多模态证据融合模块，优化分割性能与不确定性量化，解决了传统多模态图像融合方法在解释和可靠性上的局限。

创新点：

• 提出了一种新颖的融合架构，将特征提取、证据映射和组合模块结合起来，用于多模态医学图像分割。

• 引入了一种上下文折扣操作，以修正每种成像模态的质量函数，从而更好地考虑不同模态在不同上下文中的可靠性。

• 提出了一种改进的双部分损失函数，使得既可以优化每个独立模态的分割性能，又能优化组合决策的整体性能。

FusionMamba: dynamic feature enhancement for multimodal image fusion with Mamba

方法：通过设计一个新的动态特征增强模型，结合改进的高效Mamba模型和动态卷积、通道注意力等方法，提高全局建模能力和局部特征提取能力，有效增强纹理、差异感知和模态之间的相关性，抑制冗余信息，从而在各种多模态图像融合任务中展示出卓越的性能。

创新点：

• 首次将改进的Mamba模型应用于图像融合，结合动态卷积和通道注意力，增强局部特征提取能力，同时保持全局建模优势。

• 引入DFFM，包含动态特征增强模块（DFEM）和跨模态融合模块（CMFM），自适应增强纹理细节和模态间差异信息，挖掘模态相关性并抑制冗余信息。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“多医12”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏