基于元学习策略的自度量图神经网络在阿尔茨海默病诊断中的应用

文章标题

Auto-Metric Graph Neural Network Based on a Meta-learning Strategy for the Diagnosis of Alzheimer’s disease
基于元学习策略的自度量图神经网络在阿尔茨海默病诊断中的应用

文章信息：

Xiaofan Song, Mingyi Mao, Xiaohua Qian，IEEE Journal of Biomedical and Health Informatics, pp. 1-11, 2021

DOI: 10.1109/JBHI.2021.3053568

发表于：
IEEE生物医学与健康信息学杂志

https://ieeexplore.ieee.org/document/9335007

摘要

​ 阿尔茨海默病(AD)是最常见的认知障碍。近年来，许多计算机辅助诊断技术被提出用于AD的诊断和进展预测。其中，图神经网络(graph neural network, GNNs)由于能够有效地融合多模态特征并对样本之间的相关性进行建模而受到广泛关注。然而，许多用于节点分类的GNN使用一个完整的数据集来构建一个大型的固定图结构，无法进行独立测试。为了克服这一局限性，同时保持GNN的优势，我们提出了一种用于AD诊断的自度量GNN (AMGNN)模型。首先，引入一种基于度量的元学习策略，通过多个节点分类任务实现独立测试的归纳学习。在元任务中，较小的图(small graph)有助于使模型对样本量(sample size)不敏感，从而提高小样本量(small sample size)条件下的性能。此外，设计了一个带有概率约束(probability constraint)的AMGNN层来实现节点相似度度量(node similarity metric)学习，有效融合多模态数据。

​ 我们在两个基于TADPOLE dataset数据集的任务上验证了该模型:早期AD诊断和轻度认知障碍(MCI)转换预测。我们的模型在这两个任务上都有出色的表现，准确率分别为94.44%和87.50%，中位数准确率分别为94.19%和86.25%。这些结果表明，我们的模型在保证良好分类性能的同时提高了灵活性，从而促进了基于图的疾病诊断深度学习算法的发展。

1. INTRODUCTION

​ 阿尔茨海默病(AD)是一种慢性神经退行性疾病，随着时间的推移会恶化，是痴呆症和的最常见原因。预计到2050年，全世界患有AD的人数将达到约9100万。根据患者身体状态和认知水平的不同，AD的发展可分为三个阶段:正常控制(NC)、轻度认知损害(MCI)和AD[5]、[6]。先前的研究表明，每年约有10–15％的MCI患者在短期内出现AD症状[7]。因此，MCI患者可进一步分为稳定型MCI (sMCI)和进行性MCI (pMCI)。

​ 在AD的发展过程中，脑损伤是不可逆转的。目前的AD药物只能改善轻度症状患者的认知损害，这些药物只有在疾病早期[8]、[9]使用时才有效。然而，医生很难做出准确的AD诊断。为了排除其他形式的痴呆，他们需要评估患者的综合病史，结合神经影像学检查、实验室检查和精神状态检查[10]。因此，开发可靠的计算机辅助方法有助于尽早准确诊断AD患者的病情。

​ 计算机辅助方法有两种类型的任务**:AD的早期诊断(NC vs. MCI vs. AD)和MCI转换预测(sMCI vs. pMCI)。**对于AD的早期诊断，已有许多基于传统机器学习和深度学习算法的研究。其中一些研究对两类任务进行了分类:AD vs. NC和MCI vs. NC。

​ 对于AD的早期诊断，已有许多基于传统机器学习和深度学习算法的研究。如应用逻辑回归模型探讨了自动磁共振成像(MRI)的方法来区分MCI和AD和NC。采用多核支持向量机(SVM)融合多模态数据进行AD/NC和MCI/NC分类。然而，他们的两类分类方法并没有产生一个准确的诊断疾病的阶段。对NC、MCI和AD的分类更有临床价值。

​ 还有一些关于MCI转换预测的研究，如采用独立成分分析和多元回归模型预测AD转换。使用分层全卷积网络从核磁共振成像MRI信息中自动定位和分类特征。也有研究人员应用3D分离和卷积处理(核磁共振)MRI图像来预测MCI转换。有研究还提出了一种深度卷积自动编码器体系结构，来获取用于MCI转换预测的数据驱动特征等等。然而，如何有效地整合不同的信息(如成像特征和非成像特征，这类多模态特征)一直是学术界被讨论的问题。在这些的基础上作者联想到了图神经网络GNN。这些研究为AD诊断领域做出了重要贡献。

​ 然而，如何有效地整合不同的信息(如成像特征和非成像特征)对于学术界仍然是一个开放的问题。图神经网络(GNN)可以处理复杂的图数据，近年来被引入到疾病诊断的研究中。这种方法在邻域图中设置患者之间的关系，邻域图通常使用风险因素（如年龄、性别和基因）进行链接。图中的节点代表病人，边的权重代表病人的相似度。GNN提供了整合多种信息的有效解决方案，在医学领域显示出巨大的潜力。GNN最早是在2005年被提出来，此后，在CNN的启发下，一些研究人员提出了图卷积网络（GCN），接着就有了应用GCN来集成成像和非成像功能预测AD转换。还有研究进一步结合GCN和递归神经网络来填充缺失值并同时预测MCI到AD的转换，尽管这些用于节点分类的GCN在AD诊断中表现出出色的性能，但主要的局限性是缺乏灵活性，这意味着该模型无法用于独立测试。主要是因为这时的GCN被认为应用仅限于固定图结构，在利用所有数据构建了图结构时，当有新的样本可用于测试时，整个图模型就必须从头开始进行重新训练。当前，已经提出了一些方法来解决该问题。其中之一是图注意力网络（GAT）网络，它通过注意力机制在非频域中处理图结构。尽管这种方法可以克服GCN图固定结构的缺点，但其性能却低于GCN。

​ 为了克服上述挑战，作者引入了一种基于度量的元学习策略。元学习的基本思想是通过学习几个不同的任务来逐步提高模型的性能。而度量学习可以看作是元学习的一种具体实现，其核心是学习分类的主题相似性函数。元学习策略可以用来解决固定图结构的问题。可以引入度量学习的思想来构建图结构中节点之间的相关性，以便可以将元学习应用于GNN。研究表明，度量学习在少数镜头分类中表现良好，从而有可能建立一个小的图结构。模型的主要特征如下：

• 基于度量的元学习策略的引入使模型更加灵活并支持归纳学习，这意味着可以独立测试样本。

• 我们构造了一个带有概率约束的AMGNN层，以学习节点之间的测量方法，从而增强了图结构的灵活性并实现了多模态数据的有效融合。

• 即使模型的样本量较小，它仍具有出色的性能。而且，它是可扩展的，因为它可以对类别与训练样本不同的测试样本进行分类。

​ 图1显示了AMGNN网络的流程概述，展示的是对未知节点(也就是这个外红内白的小圈)进行分类。上面部分是训练过程和测试过程，在训练过程中，将task0到task（T-1）用作元任务来训练模型。 𝑃0，𝑃1，…，𝑃t表示模型基于T个元任务连续更新的参数。最后，建立了模型AMGNN（PT），该模型可以在测试过程中直接实现未知标签节点分类，从而创建新的图。下面部分显示了AMGNN的网络结构。

2. METHOD

​ 本文的研究使用了TADPOLE数据库，并且选择了用于AD和MCI转换风险预测的早期诊断的样本。这些样本的特征包括年龄，性别，受教育年限，基因信息，认知测验得分，以及海马，内嗅和中颞叶的MRI(核磁共振)图像特征。对于用于AD的早期诊断任务的样本，目的是在基线上对疾病状态进行分类，包括NC，MCI和AD。对于MCI转换风险预测任务中使用的样本，目的是预测MCI样本是否可以在0到36个月内转换为AD。表1列出了用于AD早期诊断和MCI转换预测的两个不同队列的基本信息。

​ 本研究将诊断任务建模为监督节点分类问题，并基于元学习构建了AMGNN，旨在将未知样本分为三类（NC / MCI / AD）或两类（sMCI / pMCI）。图1显示了该模型的概述。我们应用通过从训练集中随机选择样本而构建的小图的节点分类作为元任务来训练AMGNN。在训练了多个元任务之后，可以将AMGNN模型直接用于对新图中的未知标签节点进行分类。本节的其余部分安排如下：1）图形结构初始化； 2）AMGNN层的构建； 3）损失功能； 4）基于元学习的训练策略。

​ 从数据集中随机选取的样本作为模型的输入。每个类别包含q个已知样本，和一个标签定义为Ŷ的未知样本:

其中x为样本，c为标签，C为类别数，N = Cq + 1。例如，对于早期AD诊断任务(NC vs. MCI vs. AD)，类别C的数目是3。当q为10时，每个类别随机抽取10个样本，加上一个未知标签的样本;图中的节点数为Cq + 1 = 31。每个样本的特征包括的因素(年龄、性别、受教育年限和APOe4基因信息)、认知测试分数和MRI数据。随后，我们使用数据集S初始化图G = {V,E,W}，其中V表示节点集，E是边概率矩阵，其中元素eij表示节点vi和vj之间存在边的概率。节点vi的初始化特征如下:

其中ci为标签的一热编码，ni为危险因素，ri为认知得分，mi为MRI特征。对于标签未知的节点，c是一个零向量。

​ 在前一节中，描述了图的初始化过程。在获得一个初始图后，我们将其输入到带有概率约束的AMGNN层。通过节点间的信息传递，更新节点特征，获得未知节点的标签。图2显示了AMGNN层的流程图，主要包括两个步骤:带有概率约束的自动度量连接矩阵的计算和节点的更新。

带概率约束的自动度量邻接矩阵中的元素值表示两个节点之间的相关性，表示在信息传递过程中两个节点之间的信息共享程度。计算分为两部分:计算边概率矩阵E和计算边权值矩阵W。利用风险因素和先验知识约束邻接矩阵，计算边概率矩阵。除风险因素外，该模型根据特征自动学习边权值矩阵。由于风险因素的维度较低，容易受到其他特征的影响。许多研究证实了危险因素与AD之间的关系，危险因素的数值分布是有规律的，可以根据先验知识直接计算。计算风险因子{n1,n2，…，nN}的概率矩阵过程如下:

其中eij∈(0,1]为节点vi与vj之间的边权。eij是边约束矩阵E∈R N×N的第i行和第j列的元素。K为风险因素个数，K表示第K个风险因素特征。β是衡量两个样本之间风险因素特征相似性的阈值。对于年龄和教育年，β设置为2。对于性别和APOe4基因信息，β设置为0。

​ 其他特征包括标签信息、认知测试分数和MRI数据，其维度较高，与危险因素特征相比，这些特征的数值分布相对离散。根据这些特征来测量不同样本之间的相关性是不能直接定义的。因此，计算过程由模型自动完成。我们使用CNN计算节点特征集合{s1,s2，…，sN}不同节点之间的相似度，其中d是其他特征的维数。参数可以通过梯度重传来更新。在计算两个节点的每个特征之间的绝对差后，我们使用一个1× 1核的CNN从绝对差中学习边权值。具体公式如下:

这里，边权矩阵W(l)中的元素表示两个节点的权值，l为网络的第l层。这里的CNN过程体现了基于度量的元学习的思想，这意味着它可以学习节点相似度度量。基于概率约束的边概率矩阵和自动度量的边权值矩阵都是对称矩阵，与邻接矩阵的特征一致。将这两个矩阵相乘，就可以得到具有概率约束A(l)的最终自动邻接矩阵。

其中∘是元素乘法。

​ 在得到邻接算子族后，使用算子族中的每个算子更新节点，并对每个更新的结果进行累加，得到如下:

其中V(l)表示l层节点θ b (l) '是模型中表示为全连通层的可训练参数，可用于在每个节点的特征层面上改变特征维数，融合不同形态的特征。Leaky−ReLU是一个非线性激活函数。然后将结果与该层的输入节点V(l)连接，保留输入节点的特征，得到该GNN层的输出V(l+1)。

最后一层，特征维数改变后，不与输入节点连接，将未知节点的输出直接输入到softmax层，对输出进行归一化处理。归一化的结果就是未知节点的最终预测。

​ 我们把交叉熵损失作为损失函数。计算完损失后，可以用来更新模型的参数:

其中，Y为未知节点的预测结果，Ŷ为真标签(true label)，S为输入集合，C为输入集合中类别的个数。

​ 通过初始化图，构造一个GNN层，定义损失函数，我们可以建立AMGNN模型。模型训练的整体过程如图1所示。首先，从训练数据集中提取样本形成不同的图，然后输入到模型中。通过概率约束的AMGNN层，信息在节点之间传递和更新。最后，得到未知节点的类。通过监督学习，可以通过损失函数更新网络参数P。更新后的参数作为训练后续新任务的初始参数:

其中f表示梯度下降算法，基于Lt更新参数Pt, t表示训练epoch。经过T个训练epoch后，PT表示模型最终的参数。该模型可以对新图中的未知标签节点进行分类。在测试阶段，模型只需要几个已知的标签样本作为标签信息的来源，并在测试集中添加一个未知的样本，形成一个新的图形作为输入。通过训练阶段获得的模型，可以对新图中的未知节点进行分类。

3. EXPERIMENT

​ 这项研究中构建的模型通过将其应用于以下两项任务得到了验证：早期AD诊断）和MCI转换风险预测。 使用的GNN层数为2，每个类别的随机选择的样本q数为10，CNN层数设置为4，其中dropout layer参数的值为0.3，以及Adam优化器 用于优化网络，学习率设置为0.001。 在默认结构中，为每个类别随机选择的样本数量q为10，训练过程中使用的任务数量T在早期AD诊断任务中为400，在MCI转换风险预测任务中为150。 我们使用五重交叉验证（CV）方法，并重复了10次实验以验证模型的稳定性。 本研究中使用的评估指标包括准确性（ACC），ROC曲线（AUC），灵敏度（SEN）和特异性（SPE）。

​ 为了验证我们所提出方法的有效性，我们探讨了各种传统方法的分类性能，包括逻辑回归(LR)、支持向量机(SVM)、随机森林(RF)、多层感知器(MLP)和GCN。在实验中，对于前五种方法，我们使用了Scikit-Learn library中的函数来完成分类。RF包含10个决策树。MLP有一个包含16个节点的隐藏层，并使用Adam优化器进行了优化。

​ 表Ⅱ和表Ⅲ列出了不同模型的10个实验结果的最高值、平均值、中值和最低值。在图3中，我们用箱形图显示了10次随机实验中每个模型的中位数精度的五倍CV结果。下面以中位数精度(准确度第五高)对应的实验结果作为比较实验的基线。表Ⅱ列出了AD的早期诊断结果;模型的最高精度为94.44%，中位精度为94.19%。GCN和RF的表现非常相似，中位数准确率分别为91.39%和91.33%。SVM分类器的性能最低，中位数准确率为78.82%。总的来说，我们的模型优于其他模型(t检验结果相关的p值小于0.05)。与GCN相比，我们的模型的中位数精度高出2.8%。

​ 图4显示了我们的模型在两个任务上的ROC曲线:AD早期诊断任务的平均AUC为0.987,MCI转换风险预测任务的AUC为0.929。图5为AD早期诊断任务的混淆矩阵，我们发现错误的预测结果与真实的标签接近。例如，如果真正的标签是AD，它只会被错误地判断为MCI，而不是NC。

​ 在本实验中，我们通过改变每个类别随机抽取样本q的数量来探讨图大小的影响。q与图的大小成正比。例如，AD的早期诊断任务(NC vs. MCI vs. AD)。在这里，我们对q = 1、5、10、15、20的几种情况进行了实验。对于AD的早期诊断任务，表Ⅳ列出了不同q值的5倍CV的ACC和AUC值。当q值为10时，模型表现最好，ACC为94.19%，AUC为0.987。当q = 1时，模型的准确率仍能达到92.94%。总体来看，5个精度值的均方误差仅为0.004，表明模型性能稳定。同样，在MCI转换风险预测任务中，随着q值的变化，模型的性能保持稳定，精度的均方误差为0.008。表Ⅴ列出了该任务的模型性能。最高准确率为87.34%(对应q值为15)，最高AUC为0.929(对应q值为10)。ACC值大于84.84%，AUC值大于0.913。

​ 以上实验表明，即使曲线图较小，模型的ACC和AUC也可以维持在较高的水平。总的来说，模型对图的大小不敏感。

​ 为了验证训练样本数量的效果，我们保持测试集数据不变，逐步将训练集数据从原来的80%减少到总数据集的50%、20%和10%。在此过程中，网络结构和训练参数保持不变。然后我们将我们的模型与其他传统模型进行了比较。其他模型的参数设置与3.2节相同;只有训练样本占总样本的比例有所变化。最终结果如图6所示。在AD早期诊断任务的实验中，我们的模型性能保持稳定。即使训练样本的数量为总样本的10%，精度仍然达到90.13%。GCN和RF在此任务中也表现稳定。在样本浓度为10%时，其准确度分别为85.45%和85.65%;这些结果比我们模型的结果低了大约四个百分点。当训练样本比例从80%降低到10%时，支持向量机和MLP的性能显著恶化。SVM和MLP的准确率分别降低了20%和19.94%。

​ 在MCI转换风险预测任务的实验中，当训练样本减少到10%时，我们的模型的准确率为78.75%，远远高于其他方法。当训练集的数量从整个样本集的80%减少到10%时，支持向量机的精度下降了22.32%，而其他方法的性能保持稳定。

综上所述，在小样本的训练中，我们的模型是稳定的，并保持了良好的性能。特别是当我们的模型中训练样本的比例仅为10%时，其性能仍然与其他训练样本比例为80%的模型相似。

​ 为了探究所提出模型的可扩展性，即对于与训练样本类型不同但具有相似判别特征的测试样本是否具有良好的分类性能，我们进行了AD早期诊断实验。在本实验中，我们选取NC、MCI和AD中的两类作为训练样本，并选取另一类样本和其中一类训练样本作为测试样本。例如，我们使用NC和MCI进行培训，使用MCI和AD进行测试。这种数据划分方法保证了测试样本和训练样本的特征相似度和分类差异。结果如图7所示。横轴表示测试集中包含的类别，不同颜色的直方图表示训练集中包含的类别。首先，以训练集和测试集的相同类别作为比较基线进行实验。使用该模型对NC和MCI进行分类时，准确率为97.81%;NC和AD分类时，准确率为100%;在MCI和AD分类时，准确率为92.69%。

4. DISCUSSION

​ 为了克服现有的基于GNN的模型缺乏灵活性(即这些模型不能独立测试)，我们开发了一个基于元学习策略的AMGNN，其目标是实现阿尔茨海默病的早期诊断和预测轻度认知障碍向阿尔茨海默病的转化。我们首先构建小图，其节点代表从数据集中随机选择的样本，其中边融合了自动学习的信息和风险因素的先验知识。随后，通过在节点之间传递标签信息，我们获得了未知节点的标签。最后，引入元学习策略，对模型进行多监督节点分类训练。该模型在阿尔茨海默病的早期诊断和轻度认知障碍转换的风险预测方面表现良好，最高准确率分别为94.44%和87.5%。

​ 首先，我们探讨了图形大小的影响。实验结果表明，该模型对图形大小不敏感，即使使用很少数量的图形，也能表现出良好的性能。因为我们引入了元学习策略，主要思想是通过多个任务训练模型；即使图形很小，包含在多个图形中的信息也足以使模型获得分类经验。图中节点的数量越多，消耗的计算资源就越多。此外，同一类别的大量信息是多余的，不会带来显著的性能提升。小图的使用增强了模型的灵活性，从而减少了计算负担。

​ 我们探索了不同训练样本的影响，发现为了获得相似的性能，我们的模型比其他传统的机器学习模型需要更少的训练样本，同时在减少训练样本的过程中保持稳定。当模型的训练样本数为总样本数的10%时，分类精度仍然与其他正常训练模型一样好，即使用80%的数据集样本进行训练。用于构建图的数据是从训练样本中随机选择的，因此少量样本可以生成大量不同的图。比如构造一个三节点的图，当训练样本数为10(正例为5，负例为5)时，我们可以从正样本中随机选取一个，从负样本中选取一个，然后从剩余样本中选取一个作为未知节点。因此，我们有5× 5× 8 = 200个组合，这意味着最多可以构建200个不同的图形。这个数字远远高于10。因此，我们的方法取得了令人鼓舞的结果，即使样本数量很少，将我们提出的方法与现有模型的性能进行了比较，发现我们的模型性能更好。

从正样本中随机选取一个，从负样本中选取一个，然后从剩余样本中选取一个作为未知节点。因此，我们有5× 5× 8 = 200个组合，这意味着最多可以构建200个不同的图形。这个数字远远高于10。因此，我们的方法取得了令人鼓舞的结果，即使样本数量很少，将我们提出的方法与现有模型的性能进行了比较，发现我们的模型性能更好。

​ 本研究开发了一种基于元学习的阿尔茨海默病诊断神经网络。与以往的神经网络在广告领域的研究相比，我们的模型的创新之处在于:1)它在灵活性和性能之间提供了一个很好的平衡，并且支持归纳式的节点分类；2)它对训练样本数量的敏感性低，因为即使当训练样本数量显著减少时，它也能保持稳定的模型性能；3)可以扩展到对与训练样本类型不同的测试样本进行分类。我们通过进行各种对比实验验证了这些特征，我们的模型在两个任务——早期阿尔茨海默病诊断和轻度认知障碍转换风险预测——中表现最佳，最高准确率分别为94.44%和87.50%，AUC值分别为0.990和0.940，因此具有很大的实际意义。本研究代表了对神经网络的深入探索，促进了神经网络在计算机辅助疾病诊断中的发展。