一种新的联合病理定位与轻度认知障碍发展性预测的迭代注意聚焦策略

paper：Novel Iterative Attention Focusing Strategy for Joint Pathology Localization and Prediction of   MCI Progression

 

Abstract.

       轻度认知障碍(MCI)是阿尔茨海默病(AD)的前驱期,其转换为AD具有高发生率。因此，确定能转化为AD患者进行早期有效治疗的MCI患者是至关重要的。近年来，许多基于机器学习或深度学习的方法被提出，首先对与病理相关的脑区域进行定位，然后为 MCI 进一步诊断提取独自特征。然而，病理区域定位与特征提取内在的关系通常被忽视。要解决此问题，在本文中 ，提出了一种新的迭代注意力聚焦策略，用于从稳定的MCI（s MCI）中进行性MC I（pMC I）的联合病理区域定位和鉴定。此外，通过连接诊断网络和注意图生成器，病理区域可以反复定位，相应的诊断性能又得到了改进。来自ADNI-1数据集的393个训练受试者和来自ADNI-2数据集的其他277个测试受试者的实验表明我们的方法对PMCI与SMCI诊断的准确度可以达到81.59%。我们的结果优于那些先进的方法，此外，还提供了与MCI进展相关的特定病理位置的重点关注地图，例如左颞叶，内脏和海马。这允许更多的洞察力和更好地理解MCI到AD的进展。

1 Introduction

    作为最普遍的神经变性疾病,阿尔茨海默病（A D）的特点是认知功能神经元的不可逆丢失和进行性损害。从正常认知到AD，有一个连续的系列, 其中轻度认知障碍(MCI)是一个前驱期。因此，鉴别在一段时间后转换为AD的MCI受试者(进行性MCI，即pMCI,)，与那些保持稳定的认知功能(即稳定的MCI，即pMCI, sMCI)非常重要。

    近来，通过深度学习方法的痴呆诊断策略已经在传统的机器学习方法上获得了很好的结果，由于深度学习模型可以分层地提取鉴别特征表示，并自然地将不同层次的特征组合在一起。例如，Liu等[9]报告了用 patch-based CNN从239例smci患者中分离出38例pMCI患者，分离率为76.90%。

   虽然广泛的研究侧重于痴呆诊断任务，但痴呆相关解剖结构的定位通常被忽视了。刘等人使用具有一定分布的鉴别解剖学标志，例如在双侧时间叶和海马等。Lian等人[7]修改了cnn诊断框架，得到了类激活图[13]，表明海马和脑室的角和边界对pMCI 和sMCI差异有鉴别作用。在我们的工作中，我们提出了一种新的迭代注意力聚焦(IAF)策略，以同时生成与疾病相关的注意图，并为pMCI提供疾病诊断结果。我们观察到，疾病相关注意区域的精确定位可以提高诊断性能，诊断结果良好的模型可以进一步生成更好的注意图。我们的具体贡献概述如下：1)联合优化病理区域定位与识别任务；2)建议使用专门的注意力图生成器来关注与疾病有关的最相关的解剖位置；3)疾病分类结果优于现有技术方法。

 

2 Method

    2.1 Iterative Attention Focusing (IAF) Strategy（迭代注意力聚焦(IAF)策略）

    如图1所示，我们提出了一种迭代注意力聚焦(IAF)策略，用于生成疾病相关注意图和预测诊断结果。IAF有两个主要组成部分：1)全尺寸诊断网络(FDN)。2)注意图生成器(AMG)。具有相应AMG的FDN可以看作子网络。每个子网络从1)原始强度图像和2)以前的子网络生成的注意力图进行输入。多个子网络相互连接，迭代优化分类性能，并将注意力集中在类激活区域上。具体描述如下。

 

    FDN Component for Diagnosis. 以往基于cnn的研究大多以二维图像或提取小尺寸三维图像块作为输入，这可能导致全局语义信息的丢失。因此，我们从输入特征图中提取和处理与疾病相关的特征表示提出了一种FDN结构 ，如图1所示. FDN由6个卷积层和2个全连通(FC)层组成. 每个卷积层后面跟着：1)批归一化层，它可以通过计算的均值和方差来对特征进行归一化。2)dropout层(比率为0.5)，这有助于防止过度拟合。3)激活函数(ReLU)。4）一个2*2*2的最大池化层。(除最后一个卷积层外)。在最后一个卷积层之后，得到的特征映射组被全局平均池层压缩成一个向量，然后将导出的特征向量输入到一个完全连通的层中。 利用Softmax过程生成疾病标签预测概率。

 

AMG Component for Pathological Region Localization.

    先前的工作[11]揭示了一个重要的观察，即来自cnn不同层次的特征地图具有信息层次结构。低层(即靠近输入层)提取低层特征，如边缘和线条。而深层(即接近输出层)层则捕获高级语义模式。因此，由不同层产生的可视化结果相互补充，并且可以组合在一起以表示区别细节。此外，受以前工作的启发，流经每个层的梯度信息可以产生特征映射中每个体素对于感兴趣的决策的重要性。为了从当前的FDN获取高分辨率的注意力图。我们提出AMG作为类激活映射生成器的一种新设计。其结构如图1所示。通常，AMG单独计算每个卷积层的加权特征图，然后将特征映射合并为一个高分辨率特征映射。从数学上讲，AMG计算c类激活图,的公式如下：

    Connection Strategy Between Sub-networks. 在图1中。将子网连接在一起来实现将不同迭代阶段生成的信息结合起来。具体而言，我们首先优化FDN1，并从AMG计算关注图。然后，更新FDN 2并生成更集中的注意力映射。最后，其它子网络进行顺序更新。我们将此连接方法称为“密集的”连接，因为第R子网络的输入是由原始输入图像和从之前的子网的AMGs生成的注意映射连接的特征映射。这种设计的原因是以前生成的注意图可以为分离任务提供指导，FDN分离性能的提高有助于疾病相关区域的精确定位。在IAF策略中，我们进一步修改与“局部密集连接”的密集连接，因为第 r 层FDN的输入仅包括：1)原始输入图像；2)前两个子网生成的注意力图。我们观察到注意的区域起初是粗糙的并且稍后相对集中在某一区域上，因此，先前生成的粗注意映射对后续子网络的性能几乎没有指导作用。

    部分的密集连接可以描述如下：

2.2 Network Implementation

    我们的 IAF 策略是在深学习框架 pytorch 中实施的。在迭代开始时，我们用[3]中的策略初始化 FDNs 的权重，使用了 focal 损失[8]作为目标函数。自适应力矩估计 (Adam )[6]作为优化器，学习速度为10e-4，批次样本量设定为10。Experiments were performed with a  NVIDIA Tesla V100 32GB GPU。

 

3 Experiments

 

3.1 Dataset and Preprocessing

    我们的分析基于阿尔茨海默病神经成像倡导(ADNI)[5]数据集。为了更好的评价，我们使用了来自ADNI-1数据集的1.5TT1MR图像进行训练，并使用来自ADNI-2数据集的3.0TT1图像进行测试。值得注意的是，我们遵循了以前的研究[9，7]使用完全相同的sMCI和pMCI数据，以便更容易地比较结果。具体而言，训练集包括226个sMCI和167个pMCI受试者，测试集包含239个sMCI和38个pMCI受试者。训练集和测试集中的所有数据都使用标准式进行处理，包括图像重定向，重采样到体素大小1×1×1 mm 3，偏倚校正和去除颅骨。

 

3.2 Effectiveness of Iterative Attention Focusing Strategy

    在图1中。2、我们报道了 IAF 各迭代阶段所取得的实验结果。在图2(a)中，诊断性能由四个指标描述:准确性(ACC)、敏感性(SEN)、特异性(SPE)和工作特性曲线下面积(AUC)。从图中我们可以得到三个观察结果。First, 对于在迭代的早期阶段中的FDNs，将注意力图添加为指导信息显著提高了性能。例如，当 FDN2 接收从子网络1生成的原始输入和注意映射时，诊断精度从0.6787提高到0.7978。同时，SEN、SPE和AUC也较FDN 1增加。Second, 当增加更多的迭代时，添加注意映射的效果就会变小，其特点是FDN性能没有显着改善。与FDN 2相比，FDN 3的AUC仅提高了0.0079。Third, 当IAF 缩放比例超过一定程度，增加额外的注意领域将不再为之后的 FDN 提供有用的指导。图2(b)示出注意区域趋向聚焦，这为上述推论提供了证据。

 

 

    请注意，为了推广停止标准，在我们的实验中，迭代次数是通过检查验证数据性能来确定的。详细地说，我们的数据集被随机分为训练集(包括155个sMCI和120个pMCI样本)和验证集(包括71个sMCI和47个pMCI样本)。当我们训练我们的IAF的纯训练集，最好的表现是在FDN 3。因此，我们得到了优化的迭代次数为3。对于其他数据集，可以应用相同的方法，并根据验证数据的性能确定参数。

    

3.3 Disease Separation Performance

 

    我们比较了我们的 IAF 方法和另外4种方法，包括两种传统的方法，即：1)基于兴趣区域的方法(ROI)。2）基于体素的形态学分析( (VBM)。两种基于深度学习的方法，即 3)基于标记的深度多实例学习 (LDMIL) 。4）具有先验层次的全卷积网络 （ wH-FCN）。对于基于ROI和VBM的特征处理方法，我们采用线性 SVM (C=1)分类器进行特征处理。表1给出了pMCI与sMCI分类的结果。从表格中我们可以看到：1)基于深度学习的方法通常优于pMCI与sMCI分类任务中的其他方法。例如,就诊断精度而言,与VBM和ROI相比，IAF分别实现了0.1553和0.1733的改进，显示了CNN的突出特征提取和处理能力。2)我们提出的网络级密集结构的性能优于其他先进的基于深度学习的方法。值得注意的是，我们实现了较高的SEN，这表明我们的方法更能够识别可能的MCI转换。

 

 

3.4 Attention Areas

    在图3中，由 AMG 生成的与FDN 3对应的6个受试者(包括3个sMCI对象和3个pMCI对象)的注意力图在轴向、矢状和日冕视图中显示， 图中还显示了T1 MRI图像上相应的局部解剖结构。从图3可以得出以下结论：1)我们的方法可以提供一张与MCI发展性相关的特定病理位置的聚焦图，并提供详细的解剖模式。2）与MCI发展性最相关的区域一般位于左脑，包括颞叶、内侧皮质和海马。这些结果与[2]和[9]等现有的神经学研究是一致的。值得注意的是，所获得的注意力区域直接来自图像本身，没有相关的先验知识。我们的位置和文献之间的一致意味着我们的网络掌握了基本的诊断信息；3)个体间的判断区域可能存在差异。例如，在pMCI组中，pMCI#1主要集中在左侧海马，而颞下回和内嗅皮层是pMCI#2最具鉴别性的区域。4)与pMCI组相比，sMCI组的激活区相对模糊，这可能是由于pMCI组的病理倾向较多所致。从图2(b)可以观察到，在迭代的不同阶段，该方法首先突出了许多可能与AD进展相关的区域，然后获取这些区域,这些区域的变化可能是微妙的,同时对诊断贡献很大。

 

4 Conclusion

 

    在本文中，我们提出了一种新的迭代注意力聚焦策略，用于联合病理区域定位和从sMCI中识别pMCI。来自ADNI-2数据集的277个测试受试者的实验表明，我们的方法可达到81.59%的PMCI与SMCI诊断的准确度。同时，重点关注与MCI发展性相关的特定病理部位。与现有技术方法相比，这允许更深入地了解MCI到AD的发展。