MATR：通过多尺度自适应Transformer进行多模态医学图像融合

最新推荐文章于 2024-10-13 20:07:01 发布

程序员笑武

最新推荐文章于 2024-10-13 20:07:01 发布

阅读量1.2k

点赞数 29

文章标签： transformer 深度学习人工智能数据分析数据挖掘语言模型

本文链接：https://blog.csdn.net/m0_59164304/article/details/142184402

版权

摘要

由于成像传感器的局限性，获得同时包含功能代谢信息和结构组织细节的医学图像是具有挑战性的。多模态医学图像融合是融合不同模态间互补信息的有效方法，已成为临床诊断和手术导航的重要技术。基于深度学习（DL）的融合方法具有强大的特征表示能力，改善了融合效果，但仍不能取得令人满意的效果。具体地说，现有的基于DL的方法通常依赖于卷积运算，卷积运算可以很好地提取局部模式，但在保持全局上下文信息方面的能力有限。为了弥补这一缺陷，实现精确的融合，提出了一种新的基于多尺度自适应Transformer的无监督多模态医学图像融合方法 MATR。在该方法中，引入了一种基于全局互补上下文的自适应卷积来自适应地调整卷积核，而不是直接使用普通的卷积。为了进一步建模长范围依赖关系，采用了自适应Transformer来增强全局语义提取能力。网络架构是以多尺度的方式设计的，以便可以从不同尺度的角度充分获取有用的多模态信息。此外，设计了一个由结构损失和区域互信息损失组成的目标函数，在结构和特征两个层次上构造信息保持的约束条件。

背景

图像融合的目的是将来自两个或多个源图像的信息进行组合，生成一幅信息丰富的合成图像，从而提高后续计算机视觉任务的性能。在该领域，多模态医学图像融合因其重要的临床应用而引起了越来越多的关注，包括肿瘤分割、细胞分类、神经学研究和复发性高级别胶质瘤的治疗策略，以SPECT图像和MRI图像的融合为例。SPECT图像反映了生物体的代谢信息，可以促进肿瘤检测和血管疾病诊断，然而其分辨率通常相当低。MRI图像含有丰富的解剖信息，分辨率高，从中可以清楚地识别软组织。为了进行准确的诊断，医生通常顺序分析SPECT和MRI图像，但这种顺序分析方法在大多数情况下不方便。为了缓解这一限制，SPECT和MRI图像的融合是一种有效的方法，其目的是获得一种能够同时保留SPECT图像的功能代谢信息和MRI图像的结构软组织信息的融合图像。

方法

由于SPECT图像是RGB彩色图像，MRI图像是单通道灰度图像，采用RGB到YUV颜色转换来解决通道不匹配问题。首先将SPECT图像转换为YUV颜色空间以获得Y、U和V分量。然后，SPECT图像的Y分量与MRI图像在通道维度上进行拼接（选用Y分量与 MRI 图像进行拼接是为了避免颜色通道的混淆和失真，可以集中处理亮度和结构信息。亮度信息可以保持图像的细节和清晰度，MRI灰度图像可以主要提供高分辨率的结构信息）。拼接后的结果传入所提出的多尺度自适应Transformer网络，网络输出的融合结果再次与SPECT图像的U、V分量进行YUV到RGB颜色转换，最终生成融合图像。

从结构级和区域级的观点设计损失函数来训练所提出的网络。MATR的总损失函数定义如下：

**L-SSIM：**用于结构级约束，使用结构相似性指数测量（SSIM）来约束融合图像与源图像之间的相似性，以确保融合结果具有足够的结构细节（SSIM，即structural similarity index measurement）。

**L-RMI：**区域级约束。使用区域互信息（RMI）来限制从源图像到融合图像的信息传递，以进一步确保融合结果具有准确的信息保留，避免伪影。

实验与结果

总结

本文提出了一种使用多尺度自适应Transformer（MATR）的基于深度学习的多模态医学图像融合算法。该方法引入自适应卷积和自适应Transformer来提取全局互补上下文信息，实现精确融合。为了捕捉有用的尺度间信息，所提出的模型被设计成多尺度方式。此外，从结构级和特征级两个角度设计了一个目标函数，以实现对MATR的无监督训练。实验结果表明，本文方法在视觉质量和客观评价上要优于目前流行的方法，具有一定的应用价值。进一步地，将该方法推广到其他生物医学功能和结构图像融合问题，取得了令人满意的结果，表明该方法具有较好的泛化能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述