基于Transformer的特征融合在4D Flow MRI左心室分割中的应用

Transformer Based Feature Fusion for Left Ventricle Segmentation in 4D Flow MRI

摘要

四维流动磁共振成像（4D flow MRI）能够使用时间分辨的三方向速度数据实现心内血流的可视化和心脏功能的量化。由于血池和心肌之间的对比度极低，心脏4D血流数据的分割是一个巨大的挑战。4D流量采集的幅度和速度图像提供了互补信息，但如何有效地提取和融合这些特征尚不清楚。4D血流MRI的自动心脏分割方法尚未得到充分研究。
本文方法
在本文中，将速度和幅度图像分别作为两个分支的输入，然后提出了一个基于Transformer的交叉和自融合层来探索两种模态的相互关系，并对同一模态中的内部关系进行建模
一个由104名受试者组成的大型内部数据集（91182张2D图像）用于训练和评估我们的模型，使用了几个指标，包括Dice、平均表面距离（ASD）、舒张末期容积（EDV）、收缩末期容积（ESV）、左心室射血分数（LVEF）和动能（KE）。我们的方法获得了86.52%的平均Dice和2.51mm的ASD。对临床参数的评估显示了竞争性结果，LVEF、EDV、ESV和KE的Pearson相关系数分别为83.26%、97.4%、96.97%和98.92%
代码地址

本文方法

注意力机制

尽管自我注意探索了模态内关系，但模态间关系，如幅度图像和速度图像中像素之间的关系，并没有被探索。交叉注意力模块以两个补丁作为输入来生成Q、K和V。V和K是从同一模态生成的，而Q是从另一模态导出的。其他操作与自我注意保持相同。

特征融合层

为了融合由幅度和速度图像生成的特征，我们提出了一个特征融合层（FFL）。FFL的结构如图所示。包含两个分支，每个分支有一个交叉融合层和一个自融合层
交叉融合层（CFL）：CFL被提议融合来自不同模态的特征。CFL的结构如图3中上部仪表板框所示。Q、K和v由两种模态生成，多头交叉注意（MCA）模块和线性投影首先集成这些信息。然后将融合的特征添加到原始输入中。随后，使用另外两个线性投影和一个残差连接，然后使用归一化层来增强融合的信息
自融合层（SFL）：图3中的下仪表板框显示了SFL的结构。SFL是一个由多头自注意（MSA）、线性投影、残差和归一化层组成的简单堆栈。与CFL不同，SFL仅使用一个输入来生成MSA的值。CFL旨在融合来自不同图像模态的特征，SFL利用自我注意进一步增强融合的特征。

网络结构

实验结果