【论文阅读笔记】基于自监督学习的心脏MR图像解剖位置预测分割

Self-Supervised Learning for Cardiac MR Image Segmentation by Anatomical Position Prediction

摘要：卷积神经网络因其能够学习具有判别力的图像特征，用于多种分类和回归任务，改变了医学图像分析领域。然而，成功地学习这些特征需要大量人工标注的数据，这些数据的获取代价昂贵，并且受限于专家图像分析师的可用资源。因此，无监督、弱监督和自监督的特征学习技术受到了广泛的关注，其目的是利用大量可用的数据，同时避免或大幅减少人工标注的工作量。本文提出了一种新的方法来训练心脏MR图像分割网络，通过预测解剖位置以自监督的方式学习特征。解剖位置作为监督信号，不需要额外的人工标注。实验证明了这一看似简单的任务为特征学习提供了一个强烈的信号，并且通过自监督学习，获得了比从头开始训练的U - net更好或相当的高分割精度，特别是在小数据集下。在仅有5个注释对象的情况下，与基线U - net相比，本文提出的方法将短轴图像分割的平均Dice度量从0.811提高到0.852。

本文贡献：
首先，本文方法从心脏腔室视图平面自动定义的解剖位置中学习图像特征，为自监督学习提供了一种新颖的前导任务，并提供了一个强大的监督信号。重要的是，从标准的心脏MR扫描中可以自由地获得腔室视图平面信息，这意味着该方法有潜力扩展到临床环境中，在医院的PACS上存储的大量未经标注的MR扫描可以用于特征学习。
其次，本文展示了在两个任务上的学习性能，即短轴图像和长轴图像分割。对于这两个任务，自监督学习都表现出了对分割精度的强劲提升，尤其是在较小数据集的情况下。

详细内容
自监督学习的心脏核磁共振图像分割
图1心脏MR观察面及解剖位置：( a )关于心脏的短轴和长轴视图平面。( b ) 2Ch和4Ch视图平面重叠的短轴图像(黄色线条)和由视图平面定义的解剖位置(彩色方框)。( c )长轴4Ch视图图像，2Ch和中短轴视图平面与解剖位置重叠。

心脏核磁共振视图
一个标准的心脏MR扫描包括在心脏的不同角度平面采集的图像，包括短轴，长轴2室( 2Ch ,垂直长轴)，4室( 4Ch ,水平长轴)和3室( 3Ch )视图。它们用于评估心脏的不同解剖区域。例如，短轴视图显示左心室( LV )和右心室( RV )的横截面。长轴切面显示室间隔和侧壁，以及心房腔，包括左心房( LA )和右心房( RA )。图1(a)说明了短轴和长轴2Ch，4Ch视图是如何指向心脏的。
以往关于心脏MR图像分割的大多数工作分别考虑短轴和长轴视图，忽略了不同视图的相对方位。通常，来自特定视图的图像和相应的标签图用于从头开始训练分割网络。本文提出短轴和长轴视图的相对方向和视图平面定义的解剖位置可以用来制定一个前文本任务，以自监督的方式训练网络并提高数据效率。

自监督学习
图1 ( b )显示了短轴图像，叠加了2Ch视图和4Ch视图(黄色线条)。可以看出，2Ch视图对LV和RV都进行了平分，而4Ch视图对LV进行了平分。它们在LV相交。沿着房室视图线，我们定义了9个解剖位置，用边界框表示，包括交点，左边的两个框，右边的两个框，前边的两个框和后边的两个框。从DICOM头部可以获得从左到右和从后到前的方向。前文本任务是预测这9个边界框定义的解剖位置。这里的直觉是，对于网络识别这些解剖位置，它必须学习特征，以了解不仅左和右心室大致在哪里，而且他们的邻近区域看起来是什么样子。学习到的特征可以迁移到一个相关但要求更高的任务上，即心室的精确分割。
类似地，对于一幅长轴为4Ch的图像，我们可以在其上叠加2Ch视图和中短轴视图，如图1（c）所示。沿着2Ch视图和中短轴视图线，我们定义了9个解剖位置，包括交点，左边的两个盒子，右边的两个盒子，上边的两个盒子和下边的两个盒子。长轴图像分析的前导任务是预测这些解剖位置。为了从前文任务中学习，我们训练了一个10路分割网络，对9个边界框和背景进行分割。采用标准U-net架构，由编码器部分、解码器部分、它们与任务头(最后一个卷积层)之间的跳过连接组成，如图2 ( a )所示。交叉熵被用作损失函数。
图2:自监督学习( SSL )的网络结构和三种不同的迁移学习方法。( b )中的灰色区域表示冻结的编码器。

迁移学习
网络在前文任务(任务1)上进行自训练后，迁移到新的任务(任务2 )上，对LV腔、心肌、RV腔等解剖结构进行精确分割。为了实现这一点，我们可以简单地将任务1的头替换为任务2的新头。任务头指的是U-net的最后一个卷积层，它是K通道输出的1 × 1卷积，K表示类别数。
本文考察了三种不同的迁移学习方式：
第一种方法是冻结编码器学习到的权重，只对解码器和任务头进行微调，使用任务2的标注。该方法命名为" SSL + Decoder “，如图2 ( b )所示。
第二种方式是微调所有的权重，包括编码器、解码器和任务头。该方法命名为” SSL + All “，如图2 ( c )所示。
第三种方式是进行多任务学习进行微调。使用两个任务头，一个用于前言任务，另一个用于新任务。这是为了避免在学习新任务时忘记前导任务。该方法被命名为” SSL + MultiTask "，如图2 ( d )所示。制定了用于多任务学习的损失函数$$L(\theta )=L_{tas{k}_1}(x,y_1|\theta )+\beta \cdot L_{tas{k}_2}(x,y_2|\theta )$$，其中θ表示网络参数，x表示图像，$$y_1$$表示任务1中9个解剖位置的标签图，$$y_2$$表示任务2中人工标注的解剖结构的标签图，β表示权重。

实验结果
短轴图像分割的Dice度量比较。第1列列出了训练对象的数量和人工标注的图像片。第2 ~ 5列报告了基准方法和不同自监督学习方法的性能。数值为平均值(标准差)。
长轴影像分割的Dice重叠度指标比较。数值为平均值(标准差)。