又发Nature！多模态数据融合+医学，发文竟如此简单？？

要说“AI+医学”领域，什么方向最火、最好发论文、还能发高区？那一定非医学多模态数据融合莫属！

它能够整合影像、文本（电子病历）、组学、信号等信息，非常符合医学领域数据来源多样，且数据爆炸增长的特点。这对于提升疾病诊断和治疗精准度，不可或缺！近来其更是取得了诸多新突破，非常有参考性，像是Nature上准确性狂提30％的XAI Orchestrator；NeurIPS上的性能和可解释性都飙升的HEALNet……

同时，其创新点非常丰富！数据融合方法调整、模型架构改进、临床验证、针对特定疾病设计多模态诊断模型等都是很好的切入点。

为让大家能够紧跟领域前沿，早点发出自己的顶会，我给大家准备了13种创新思路和源码，可以无偿分享给你！

论文原文+开源代码需要的同学看文末

ITCFN: Incomplete Triple-Modal Co-Attention Fusion Network for Mild Cognitive Impairment Conversion Prediction

内容：这篇论文提出了一种名为ITCFN的多模态融合网络，用于预测轻度认知障碍（MCI）向阿尔茨海默病（AD）的转化。该方法通过一个缺失模态生成模块（MMG）来合成缺失的正电子发射断层扫描（PET）数据，并结合磁共振成像（MRI）和临床数据，利用三模态共注意力融合模块（TCAF）进行有效的多模态数据融合。此外，作者设计了一种新的损失函数来处理缺失模态问题并对齐跨模态特征。实验结果表明，该方法在ADNI1和ADNI2数据集上的表现显著优于现有的单模态和其他多模态模型。

TMI-CLNet: Triple-Modal Interaction Network for Chronic Liver Disease Prognosis From Imaging, Clinical, and Radiomic Data Fusion

内容：这篇论文提出了一种名为TMI-CLNet的三模态交互网络，用于慢性肝病的预后评估。该方法通过整合计算机断层扫描（CT）成像、放射组学特征和临床信息，设计了跨模态交互模块（TCAF）和三模态特征融合损失函数（TMFF），以消除模态内冗余并提取跨模态信息。实验结果表明，该方法在肝病预后数据集上的表现显著优于现有的单模态和多模态技术。

FuseForm: Multimodal Transformer for Semantic Segmentation

内容：这篇论文介绍了一种名为 FuseForm 的多模态 Transformer 模型，用于语义分割任务。该模型通过结合全局注意力机制和局部卷积特征提取能力，有效地融合了大量同质模态数据。FuseForm 的主要贡献包括：提出了一种混合多模态融合模块，结合了多模态交叉注意力和卷积操作；设计了一种基于 Transformer 的解码器，用于增强特征融合。

DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency

内容：这篇论文提出了 DrFuse，这是一种用于临床多模态融合的方法，旨在解决电子健康记录和医学影像数据融合中的缺失模态和模态不一致性问题。DrFuse 通过解耦跨模态共享的特征和每个模态独有的特征来处理缺失模态问题，并通过疾病导向的注意力层为每个模态生成针对患者和疾病的权重，从而解决模态不一致性问题。该方法在 MIMIC-IV 和 MIMIC-CXR 等大规模真实世界数据集上进行了验证，结果表明其显著优于现有的最先进模型。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【数融医学】获取完整论文

👇