[论文阅读] CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated

[论文地址] [代码] [arXiv 22.07]

Abstract

磁共振图像(MRI)中的脑瘤分割(BTS)对于脑瘤诊断、癌症管理和研究目的至关重要。随着十年来BraTS挑战赛的巨大成功以及CNN和Transformer算法的进步，很多优秀的BTS模型被提出，以解决BTS在不同技术方面的困难。然而，现有的研究几乎没有考虑如何以合理的方式融合多模态图像。在本文中，我们利用放射科医生如何从多种MRI模式诊断脑瘤的临床知识，提出了一个临床知识驱动的脑瘤分割模型，称为CKD-TransBTS。我们没有直接连接所有的模式，而是根据MRI的成像原理，将输入的模式分成两组，重新组织。我们设计了一个双分支的混合编码器，其中包括所提出的模式相关的交叉注意力块(MCCA)，以提取多模式的图像特征。该模型继承了Transformer和CNN的优点，具有精确病变边界的局部特征表示能力和三维体积图像的远距离特征提取能力。为了弥补Transformer和CNN特征之间的差距，我们在解码器中提出了一个Trans&CNN特征校准块(TCFC)。我们在BraTS 2021挑战数据集上将提议的模型与五个基于CNN的模型和六个基于Transformer的模型进行比较。广泛的实验表明，与所有竞争者相比，所提出的模型实现了最先进的脑肿瘤分割性能。

---

Method

本文的一大出发点是研究如何对MRI图像的多模态进行融合。一般来说，大多数网络的四个MRI模态(T1、T1Gd、T2、T2FLAIR)都是直接concat成一个四通道的玩意扔进网络里去的。而作者认为，这样做其实破坏忽略了其中的医学先验知识。具体来说：
T1Gd is obtained based on the T1 with intravenousgadolinium contrast, and the enhancing regions indicate thedisruption (or lack) of the blood-brain barrier, which is consis-tent with viable tumor and tumor-infiltrated brain. T2 and T2-FLAIR are often jointly interpreted. This clinical knowledgecould be very useful in brain tumor segmentation.
T1Gd是在静脉注射钆对比剂的T1基础上得到的，增强区表示血脑屏障的破坏(或缺乏)，这与存活的肿瘤和肿瘤浸润的大脑一致。T2和T2-FLAIR通常是联合解释的。 这一临床知识对脑瘤的分割非常有用。

说白了就是，两种T1内部、两种T2内部是有比较强的关联性的，因此应该分别concat进行处理以减少T1-T2这种跨大模态的干扰。

本文方法流程图如下：

最大的设计亮点在于图中红框框出来的部分，即，T1和T1Gd这两个模态concat在一起用一个encoder来提取特征，而T2和T2FLAIR这两个模态concat在一起用另一个encoder来提取特征，之后再进行特征融合。

至于其他的就是各种特征融合与注意力模块了，这里不进行赘述。

---

Dataset

将BraTS 2021挑战赛训练集的1251张图像进行进一步划分(因为挑战赛的测试集和验证集是不公开标签的，因此自己做实验只能继续划分训练集)，按照训练：验证：测试=4：1：1，最终得到了834张训练图像，208张验证图像与209张测试图像。