Nature Commun | 多平面、多序列医学影像怎么融合？深度学习的注意力机制必须要了解！

最新推荐文章于 2025-05-02 12:07:36 发布

小马不会过河

最新推荐文章于 2025-05-02 12:07:36 发布

阅读量1k

点赞数 10

文章标签：平面深度学习人工智能数据分析数据挖掘机器学习

本文链接：https://blog.csdn.net/m0_59163425/article/details/143028042

版权

近期发表在Nature Communications的论文利用深度学习注意力机制融合多平面、多序列的磁共振成像（MRI）数据，提出一种膝关节损伤诊断模型。通过引入注意力机制，深度学习模型不仅能自动识别并突出关键特征，还能够有效整合多平面、多序列乃至多模态的复杂信息。该研究中包含的跨平面注意力模块、跨序列注意力模块以及分支集成模块对于学习注意力机制在医学领域的使用具有极佳的参考价值。

引言

膝关节是人体最大的承重关节，对完成行走、跑步、跳跃等基本运动至关重要。因为膝关节复杂的结构和频繁的使用，所以膝关节损伤在各年龄段中都很普遍。鉴于不同的膝关节损伤往往同时发生，准确诊断膝关节损伤并制定个性化的治疗方案对于恢复膝关节的功能、减轻疼痛以及避免长期残疾尤为关键。

关节镜检查是一种微创的医疗技术，主要用于诊断和治疗关节内的病变，被普遍认为是诊断膝关节异常的金标准。但是由于关节镜检查可视范围有限仅能观察关节内的局部区域，其难以全面评估复杂或深层的病变；同时，关节镜检查也可能带来额外创伤及严重并发症，如关节感染和深静脉血栓等。磁共振成像（MRI）作为一种非侵入性的检查手段，通过提供高分辨率的膝关节影像能够实现与关节镜检查相当的诊断效果。但是由于MRI较高的空间分辨率，造成放射科医生使用其进行临床诊断时非常耗时费力，对于自动化辅助诊断手段有着迫切的需求。

近年来，随着人工智能尤其是深度学习技术的发展，针对膝关节异常的辅助诊断研究逐渐增多。然而，现有研究多集中于半月板和前交叉韧带等常见损伤，对复杂病例缺乏适用性。Nature Communications的这项研究构建了一个覆盖12种膝关节异常的膝关节MRI数据集，并基于此开发了基于多序列MRI协同注意力机制的膝关节损伤诊断模型。

数据及方法

该研究依托五所医疗机构（南方医科大学第三附属医院、南方医科大学第七附属医院、南方医科大学珠江医院、佛山市中医院、中山大学第五附属医院）构建了一个多中心膝关节MRI数据集。该数据集收集了1748名患者的数据，包含5个MRI序列（从矢状面、冠状面和轴状面拍摄的PDW序列，从冠状面拍摄的T1W序列以及从矢状面拍摄的T2W序列），涵盖12种膝关节损伤类别（半月板撕裂、前交叉韧带撕裂、软骨损伤、后交叉韧带损伤、内侧副韧带损伤、外侧副韧带损伤、关节积液、骨挫伤、滑膜皱襞、囊肿、髌下脂肪垫损伤、和髌骨支持带损伤）。该数据集按照来源分为了内部数据集和外部数据集，其中内部数据集以7:1:2的比例划分用于模型的训练和测评，外部数据集用于模型泛化性的验证。

在这里插入图片描述

为保证模型的泛化性能，该研究在构建深度学习模型之前对来自不同医疗机构的影像数据进行了预处理。首先，所有影像通过重采样对空间分辨率进行统一(0.28×0.28×3毫米)，并统一缩放为576×576像素大小；其次，采用归一化手段对影像强度进行标准化处理；然后，基于U-Net对半月板分割得到的ROI，大致选定膝关节区域，并缩放为224×224像素大小；最后，针对每个PDW序列，该研究通过变换分别生成相应2个正交平面的影像。通过数据预处理后，矢状面序列包含1个原始PDW序列、2个合成PDW序列、1个T2W序列，冠状面序列包含1个原始PDW序列、2个合成PDW序列、1个T1W序列，轴状面序列包含1个原始PDW序列、2个合成PDW序列.

在这里插入图片描述

该研究构建的膝关节损伤诊断模型分别针对矢状面、冠状面和轴状面各有一个分支网络，包含编码器模块、跨平面注意力模块、跨序列注意力模块以及分支集成模块。

在这里插入图片描述

编码器模块针对每个平面的3个PDW序列进行初步的特征提取，基于18层的ResNet3D网络结构实现。在每个分支网络种原始PDW序列被视为主要图像用于深度学习模型参数更新，合成PDW序列通过权重共享机制提供额外信息。

跨平面注意力模块对原始PDW序列提取的特征进行补充增强，其通过注意力机制整合原始PDW序列和合成PDW序列信息，缓解由较大切片厚度导致的信息丢失问题。

跨序列注意力模块融合T1W、T2W序列的解剖结构信息和PDW序列的细节信息，实现不同特征的加权，进而突出更具诊断价值的信息。

分支集成模块通过点积计算各分支的预测结果形成一个平面感知矩阵，并通过一系列转换得到最终的预测结果。平面感知矩阵的元素通过矢状面、冠状面和轴状面预测的乘积来表示相应异常的可能性，不仅包含了类间关联信息，还反映了异常与MRI平面之间的关联。

在这里插入图片描述

该研究使用使用EigenCAM和GradCam++技术展示模型决策过程中的感兴趣区域，并通过桑基图展示医生和模型在决策过程中对MRI平面的偏好

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述