好发CCF-B：多模态医学图像融合！新作性能狂飙72.8％！

AI科研技术派

于 2024-12-02 22:51:08 发布

阅读量584

点赞数 22

文章标签：多模态医学

本文链接：https://blog.csdn.net/2401_82426425/article/details/144200802

版权

今天给大家推荐一个起步能发CCF-B，且非常好出创新点的方向：多模态医学图像融合！

它是一项能将不同成像方式或设备获取的医学图像进行综合处理的技术。在临床诊断、治疗规划、手术导航及疗效评估等领域都有广泛的应用，对提高诊断全面性、准确性等不可替代！比如Nature上的模型ncomms，在准确率、敏感性等方面都远超SOTA；顶会MICCAI上的TFS-Diff模型，则使性能狂飙72.8％……

但其也面临数据不均衡、模型过拟合、计算开销等问题，因而对其的研究成为了迫切需求。且还不算卷，创新机会很多！

目前主流的融合方法有输入融合、单层融合、层次融合、基于注意力的融合、输出融合。为让大家能够掌握该思路的精髓，早点发出自己的顶会，每种方法，我都给大家准备了配套的论文和开源代码，共20篇。

论文原文+开源代码需要的同学看文末

输入融合：

也称为早期融合，发生在深度学习网络结构之前，通过将不同模态的数据直接合并为一个特征张量输入到深度神经网络中

Deep learning-based classification of healthy aging controls, mild cognitive impairment and Alzheimer’s disease using fusion of MRI-PET imaging

内容：文章是关于使用深度学习和多模态成像技术来自动检测不同阶段的痴呆症的研究。研究中开发了一个基于Inception-ResNet模型的分类器，通过融合MRI和PET成像数据，实现了对健康控制组（HC）、轻度认知障碍（MCI）和阿尔茨海默病（AD）的高效分类，分类准确率分别为95.5%、94.1%和95.9%。这项研究展示了深度学习模型在自动化分类健康和痴呆症阶段方面的潜力，并可能有助于临床诊断的改进。

单层融合：

涉及在深度学习网络结构之后、最终分类器之前的特征融合，通常包括经典融合和网络融合两种类型

Multimodal cross enhanced fusion network for diagnosis of Alzheimer’s disease and subjective memory complaints

内容：文章介绍了一种名为多模态交叉增强融合网络的深度学习模型，该模型旨在提高对阿尔茨海默病和主观记忆抱怨的诊断准确性。该网络通过结合和融合来自不同神经影像模态（如MRI和PET）的特征，利用深度学习技术来识别和区分AD和SMC患者，旨在为临床提供更准确的诊断工具。

层次融合：

扩展了单层融合，通过在不同层次上融合不同维度的特征，并在融合过程中进行分类

Multimodal information fusion for glaucoma and diabetic retinopathy classification

内容：文章探讨了三种基于深度学习的多模态信息融合策略——早期融合、中间融合和层次融合——在视网膜分析任务中的应用，特别是针对青光眼和糖尿病视网膜病变的分类。研究者们发现，与传统的早期和中间融合方法相比，他们开发的一种层次融合方法能够更好地结合不同维度的特征，并探索模态间的相关性，从而在两个数据集上都取得了最佳的分类性能，为临床诊断提供了更好的途径。

基于注意力的融合：

利用注意力机制来提取和合并特征，这种架构不依赖于任何先前的融合架构，特别是在视觉-语言任务中表现出色的Transformer结构

Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model

内容：文章介绍了一种名为TFS-Diff的条件扩散模型，用于同时实现三模态医学图像融合和超分辨率。该模型基于随机迭代去噪过程的扩散模型生成，开发了简单的目标函数和融合超分辨率损失函数，有效评估融合过程中的不确定性，并确保优化过程的稳定性。此外，文章还提出了通道注意力模块，用于从不同模态中有效整合关键信息，避免多次图像处理导致信息丢失。在公共哈佛数据集上的广泛实验表明，TFS-Diff在定量和视觉评估方面均显著优于现有的最先进方法。

输出融合：

也称为决策级融合或后期融合，每个模态使用单独的深度学习网络结构提取特征并做出决策，然后将结果合并为最终决策

Multimodal deep learning for Alzheimer’s disease dementia assessment

内容：文章介绍了一种多模态深度学习框架，用于评估阿尔茨海默病（AD）痴呆症。该框架能够连续执行多个诊断步骤，以识别具有正常认知（NC）、轻度认知障碍（MCI）、AD和非AD痴呆症（nADD）的个体。研究展示了能够接受包括人口统计学、医疗史、神经心理测试、神经影像学和功能评估在内的灵活组合的临床信息的一系列模型，并与执业神经学家和神经放射科医师的诊断准确性进行了比较。