【论文学习】An Automatic Cardiac Segmentation Framework based on Multi-sequence MR Image

——Yashu Liu, Wei Wang, Kuanquan Wang(✉), Chengqin Ye, Gongning Luo
——Harbin Institute of Technology, Harbin 150001, China
wangkq@hit.edu.cn
论文下载地址： https://arxiv.org/ftp/arxiv/papers/1909/1909.05488.pdf.

摘要

LGE CMR是检测心肌梗塞的有效技术，在LGE中有一种有效并且客观的心室分割方法能够方便找到梗塞心肌的位置。在本文中，我们提出了一种用于自动分割LGE图像的框架。其中只有5个标记的LGE卷，每个卷约有15个切片，同时，我们在其他标记的方式上采用了直方图匹配（旋转配准方法不变）来实现训练数据的有效扩充。CNN分割模型是通过基于留一法的增强训练数据进行训练的。对于每个类别，模型的预测结果均经过关联成分分析，以保持最大关联成分作为最终的细分结果。我们的模型在2019年多序列心脏MR分割挑战赛中得到评估，40个测试卷的Dice得分、Jaccard得分，表面距离和Hausdorff距离的平均测试结果分别为0.8087、0.6976、2.8727mm和15.6387mm。实验结果表明，该框架具有令人满意的性能。代码可从https://github.com/Suiiyu/MS-CMR2019上获得。

关键词：心室分割，直方图匹配，LGE-CMR（钆强化心脏核磁共振），数据增强

1.引言

心脏MRI是用于心脏功能分析的一项重要技术。受益于此项技术，医生能够对心脏功能进行无创评估。心脏MRI的方式有很多种，例如，b-SSFP（稳态自由进动成像） 和 LGE。b-SSFP可以了解心脏运动并且可获得心脏的清晰边界；LGE CMR能增强梗死心肌的显示效果，与正常心肌组织相比，能够表现出明显的亮度。LGE CMR在临床研究中被广泛用于研究心肌梗塞（MI）的存在、位置和病变程度，从LGE中准确地提取心室和心肌部分对于MI的治疗至关重要。然而，由于对梗塞的心肌部位进行了显示的增强，那么，健康正常的心肌就会受到抑制，因此，在LGE CMR上，心室和心肌的边界会变得模糊。

在临床应用中，LGE CMR图像上的心室分割仍依赖于手动分割。但是，手动分割既繁琐而又带有主观性。自动分割方法更加有效和客观。Kurzendorfer等人提出了一种自动分割左心室（LV）的框架。他们首先通过一种两步骤的配准方法对左心室（LV）进行初始化，然后采用主成分去估计左心室（LV），最后，在多边形空间上对心肌进行细化。Oktay等人将全局的形状信息合并到CNN中，他们利用自动编码器去估计左心室（LV）的整体形状信息，然后用它来对分割模型进行约束。Duan等人提出了一个结合CNN和水平集的的组合模型来分割心室。CNN用于估计心室和心肌的概率图，然后，他们对由概率图设置的水平集的能量函数进行了初始化。Khened等人采用了一个稠密连接的CNN模型和Inception模块去分割2D的心脏MRI。也有其他研究者对心室、心肌，以及其他组织的MR分割感兴趣，他们的方法主要是基于CNN。除此之外，这些方法都依赖大量的训练数据。但是，在我们目前的情况下，只有5个标记的LGE CMR 和 40个未标记的LGE CMR，每卷约有15个切片。稀缺的数据无法保证能够从零开始训练出一个有效的心脏分割模型。尽管诸如atlas之类的配准方法经常用于稀缺数据的分割，但仍存在一些不足之处。为了获得未标记数据的标签，图集必须为被标记的数据。而且，它将原始数据进行变形，并且降低数据的多样性。因此，我们利用直方图匹配技术对具有35个标记卷的b-SSFP模态CMR数据实现了有效的数据扩增，解决了数据缺失的问题。直方图匹配技术是有效的，并且不会改变原始数据的形状。因此，我们可以在保持数据多样性的同时采用其他模态数据。然后，我们采用这个扩充后的数据集来训练心脏分割模型。最后，我们采用标签-表决策略和关联组件分析来得到最终的分割结果。

其余组织部分如下：我们在第2节中介绍我们的方法，在第3节中对结果进行分析，最后，第4节进行总结。

2.方法

图1.

上图为在LGE CMR图像上针对心室和心肌分割提出的框架：

• 白色：右心室
• 浅灰色：左心室
• 深灰色：左心室心肌

所提出的框架的整个结构如上图所示。整个过程分为了三个步骤：

1. 首先，我们将这些卷预处理成图像，然后将b-SSFP图像映射到LGE图像上生成假LGE图像。
2. 其次，将伪图像输入到Res-UNet模型中。我们的模型是基于“留一法”策略进行训练的。最终的预测结果由所有模型决定。
3. 第三，将预测结果重构为原始形状，并进行连通成分分析，用于将每个类别的最大成分保留作为最终的分割结果。

2.1数据处理

数据集来自于2019年多序列心脏MR分割挑战赛（MS-CMR2019）.它发布了45个患者的CMR数据，其中包括三种模态，T2、b-SSFP 和 LGE。有35个标记的T2 CMR数据（每个患者有约3个切片），35个标记的b-SSFP CMR数据（每个患者有约11个切片），以及仅5个标记的LGE CMR数据（每个患者有约15个切片），其余是未标记的数据。这项挑战的主要目的是根据LGE CMR数据进行左心室（LV）、右心室（RV）和左心室心肌（LVM）的分割。具有很稀少标记的目标数据极大地增加了挑战。为了扩大带标签LGE CMR数据的数量，我们在其他带标签的模态数据上使用了直方图匹配。

根据数据分析，b-SSFP数据与每个患者的LGE数据具有相似的切片，并且其边界比T2模态数据更清晰。考虑到数据匹配问题和数据的质量，我们仅利用b-SSFP数据来辅助对LGE数据进行心脏分割。我们发现LGE图像 和 b-SSFP图像之间的主要区别在于外观上。同一患者的心脏形状LGE 和 b-SSFP是相似的。因此，我们利用直方图匹配来生成伪LGE数据。直方图匹配是针对此挑战的简单且高效的数据预处理过程。通过建立源图像和目标图像之间的关系，将源图像的直方图与目标直方图进行匹配。而且，仍保持源图像的形状。这也就意味着伪LGE CMR图像的标签仍与原始的b-SSFP CMR图像一致。

为了保留数据的多样性，每个b-SSFP图像都有其自己的目标LGE图像直方图。由于原始b-SSFP数据 和 LGE数据具有不同的数据范围。LGE数据的短轴范围大约是b-SSFP的两倍。因此，我们将LGE数据的大小调整为b-SSFP数据的形状大小。然后，我们从调整后的数据中获得短轴的2D图像。到目前为止，我们已经获得了b-SSFP 和 LGE一致的图像大小和数量。每个b-SSFP图像的目标直方图是根据相应的LGE图像计算得出的。
图2给出了调整LGE图像、b-SSFP图像 和 伪LGE图像大小的一个例子：

图2.

• a,b分别对应于LGE和b-SSFP的短轴；
• d,e分别对应于LGE和b-SSFP的长轴；
• c,f是从真实LGE和b-SSFP生成的伪LGE的短轴和长轴。
• 图像c 和 图像f拥有b-SSFP图像的形状信息和LGE图像的外观信息。

我们的模型是在2D图像上训练的，这些图像是从伪LGE数据和真实的原始标记LGE数据中提取的。为了保持对模型的相同输入，我们将所有图像调整为$256\times 256$大小。经过数据分析之后，我们对调整后的数据进行中心裁剪到$144\times 144$中，以过滤掉不相关的背景。模型的输出将会进行逆运算以保持数据的一致性。此外，还对三维体积进行评估。

2.2实现过程

我们采用的分割模型是Res-UNet，它利用卷积块上的残差连接。每个卷积块包含2个具有ReLU激活函数和批处理归一化的$3\ast 3$卷积层。我们采用4个下采样块作为编码器，并且采用相应的上采样块作为解码器。最后的块使用一个下降率为0.5的dropout层来克服过拟合的问题。输出层是一个具有Softmax激活函数的$1\ast 1$卷积层。该模型是使用基于NVIDIA 2080 Ti GPU的Keras实现的。

为了最大程度地利用数据，我们通过留一法策略将5个标记LGE卷分为5组。最后，我们训练了5个模型，每个模型的训练数据包括35个伪LGE体积量和4个真实LGE体积量。剩余的一个真实LGE体积量用于评估模型。最终的预测结果由这些模型的平均值决定。每个模型训练了300个epochs，0.001的学习率和8个批处理大小（batch size），每个模型的训练时间大约为1小时。此外，我们利用一个加权交叉熵损失函数来解决类别不平衡的问题。
$$\begin{gathered} wCE=-\sum _{c=0}^4{w}_c(\sum _{i=1}^N{g}_{c_i}log{p}_{c_i}) \\ {w}_c=\frac{\sum g_c}{\sum g} \end{gathered}$$

• $c$：类别索引
• $i$：像素索引
• $g_{c_i}$和$p_{c_i}$：像素$i$的真实类别和预测类别
• $w_c$：由所有标记集中的每一个类别的比率计算得出的权重
• $g$：所有标记的像素集

在训练分割模型之后，我们以原始形状重建预测结果。然后，进行一个连通成分分析以保持将每个类别的最大连通区域作为最终的分割结果。我们的分割模型是根据官方的评估指标进行评估的，这些指标包括Dice分数、Jaccard分数、表面距离和Hausdorff距离。Dice分数和Jaccard分数是重叠的指标。他们评估了ground truth（真实结果）和预测结果之间的重叠率。然而，他们在主要部分的边界细节上存在不足之处。尽管相似性度量标准（Surface distance和Hausdorff distance）主要集中在真实结果和预测结果之间的相似性上，但它们对噪声较为敏感。 利用这两个指标可以完美地进行它们之间的相互补充。 因此，可以对分割模型进行整体评估。 请注意，Dice分数是主要指标。

3.实验结果

在验证阶段的指标得分如表1所示。这些分数是这三个类别的平均值，是通过不加权的平均运算得出的。 分割模型在重叠法上具有令人满意的性能。 由于模型是在短轴上训练的，因此相似度指标的性能比重叠度指标差。 图3表示患者1和患者2的分割结果以及相应的真实结果。绿色和红色轮廓分别表示真实结果和预测分割结果。 我们选择三个代表切片来显示结果。 结果表明，我们的预测轮廓可以完美地拟合真实的情况。

分割结果的验证阶段。

• SD：表面距离
• HD：Hausdorff距离

图3.患者1和患者2的分割结果和真实情况。第一行是短轴视图，第二行是长轴视图。 颜色表示：绿色为真实情况； 红色为分割结果。

图4.显示了在测试阶段的40位患者的指标。测试分割结果由组织者评估。患者的ID是匿名的，但在这四个指标中他们的顺序是一致的。除了三个较差的结果（第5，第19和第39），我们在测试集上获得了令人满意的结果。从这些子图中，我们可以发现左心室（LV）腔室在三个分类中具有规则的形状和最大的面积。它在所有的指标中得分最高。相反，该模型在不规则右心室（RV）上表现较差。

图5展示了从测试数据集中随机选择的患者6和患者24的分割结果。绿色、红色和黄色轮廓分别代表LVM（左心室心肌）、RV（右心室）和LV（左心室）。每个患者的三列来自三个不同的切片，以证明所提出模型的综合结果。该模型在短轴（尤其是LV）上获得了理想的性能。但是，由于我们的分割模型是在短轴上处理的，因此在长轴视图上仍然存在一些不足。

4.结论

LGE CMR是鉴定梗塞心肌的有效技术。在本文中，我们提出了用于LGE CMR分割的自动框架。该框架包含三个步骤。首先，我们对b-SSFP图像采用直方图匹配过程以生成伪造的LGE图像。其次，我们通过留一法将标记的LGE图像分为5组。我们的分割模型Res-UNet是根据伪造的LGE图像和标记的LGE图像进行训练的。第三，重建模型的最终预测，并对这些数据进行连接成分分析过程，以保持每个类别的最大连接成分作为最终分割。最终分割由组织者评估，Dice得分，Jaccard得分，表面距离和Hausdorff距离的平均度量得分分别为0.8087、0.6976、2.8727mm和15.6387mm。 40个测试卷中有3个较差的卷。满足大多数卷的性能要求。