A Siamese Network With Node Convolution for Individualized Predictions Based on Connectivity Maps Ex

A Siamese Network With Node Convolution for Individualized Predictions Based on Connectivity Maps Extracted From Resting-State fMRI Data（文献阅读）
论文地址
论文代码
DOI: 10.1109/JBHI.2023.3304974
摘要：
（背景）深度学习在基于神经影像学数据的神经精神疾病客观诊断方面展示了巨大的潜力，其中包括很有前途的静息态功能磁共振成像(静息态功能磁共振成像)。
问题 然而，样本量不足长期以来一直是深度模型训练的瓶颈。

在本研究中，我们提出了一种基于静息态功能磁共振成像数据的具有节点卷积的Siamese网络( SNNC )用于（用途）个性化预测。（样本对作为输入的孪生网络解决样本量不足的问题）通过使用样本对(而不是单个样本)作为输入的孪生网络的参与，可以在很大程度上缓解样本量不足的问题。
**（具体做法）为了适应从静息态功能磁共振成像数据中提取的连通图，我们将节点卷积应用于Siamese网络的两个分支中的每个分支。为了回归的目的，我们将经典Siamese网络中的（论文创新点）**对比损失替换为均方误差损失，从而使Siamese网络能够定量地预测标签差异。测试样本的标签可以根据任何一个训练样本进行预测，方法是将训练样本的标签与它们之间的预测标签差值相加。本研究中测试样本的最终预测是通过平均每个训练样本的预测结果来实现的。

基于公共数据集( Cam-CAN )的年龄和智商预测评估了所提出的SNNC的性能。结果表明，即使在样本量小至40的情况下，SNNC也能做出有效的预测，并且在多种深度模型和标准机器学习方法中，SNNC达到了最先进的精度。

关键字：静息态功能磁共振成像，孪生网络，小样本，个性化预测，节点卷积。
结论：

在这项研究中，我们提出了SNNC，一种基于静息态功能磁共振成像数据的节点卷积个性化预测的新型孪生网络。四个因素使SNNC成为基于静息态功能磁共振成像的个体化预测的有吸引力的选择。首先，节点卷积很好地适应了连通性图，并在促进后期预测方面表现良好；其次，Siamese架构在进行基于神经图像的预测分析时，很大程度上缓解了模型训练样本量不足的问题。第三，孪生网络学习样本对之间的标签差异，最终有利于定量预测。最后，基于SNNC的模型具有可解释性。SNNC不仅可以应用于静息态功能磁共振成像数据，还可以应用于其他可以提取连接图的神经影像学数据模态，如DTI、EEG、MEG等。

总的来说，这篇论文的方法就是使用节点卷积来适应功能链接矩阵，利用孪生网络解决样本量不足的问题，因为我之前没有关注过小样本学习并不了解孪生网络，但是我通过这篇论文理解的孪生网络就像是一种数据增强，将原本的样本量由n个变成了n的组合数，另外该论文将对比损失改成了MSE，这种就是使得他的网络最终能够得到一个具体的定量结果。
这篇论文在数据处理和各个分析上花费了较多的工作。
这里图1给出了基本的方法架构，图二是给出的预测过程，图画的很清晰很明了。