【论文简读】Diffusion Kernel Attention Network for Brain Disorder Classification用于脑疾病分类的扩散核注意力网络

期刊：MIA 2022 early accept

作者：Jianjia Zhang, Luping Zhou, Lei Wang, Mengting Liu and Dinggang Shen

摘要

【背景】

构建和分析功能性脑网络（FBN）已成为一种很有前途的脑疾病分类方法，由于过程中子任务之间缺乏交互和适应性，传统的连续构建和分析过程会限制性能。

Transformer 在各种任务中表现出卓越的性能，这归功于其在复杂特征关系建模方面的有效注意力机制。

【本文工作】

在本文中，我们首次开发了 Transformer，用于集成 FBN 建模、分析和脑疾病分类与 rs-fMRI 数据，提出了一个扩散内核注意网络来解决特定挑战。

• 具体来说，直接应用 Transformer 不一定能在此任务中获得最佳性能，因为它在注意力模块中的广泛参数与通常可用的有限训练样本相比。针对这个问题，我们建议使用内核注意力来替换 Transformer 中原来的点积注意力模块。这显着减少了要训练的参数数量，从而缓解了小样本问题，同时引入了非线性注意力机制来模拟复杂的功能连接。
• FBN 应用的 Transformer 的另一个限制是它只考虑直接连接的大脑区域之间的成对交互，而忽略了重要的间接连接。所以，我们进一步探索内核注意力的扩散过程，以纳入间接连接的大脑区域之间更广泛的相互作用。

【实验结果】

对用于 ADHD 分类的 ADHD-200 数据集和用于阿尔茨海默病分类的 ADNI 数据集进行了广泛的实验研究，结果表明所提出的方法优于竞争方法。

Intro

功能核磁可以用于疾病分类

• 传统方法先通过识别大脑节点并推断它们之间的联系来构建典型的FBN，然后可以从FBN中提取各种特征进而进行分类。存在缺点：1 由于两个步骤之间缺乏通信，其性能可能不是最佳的；2 传统的FBN构建和分析方法会限制其适用性。
• 文献[27][28]用神经网络方法进行分类，也存在一些不足。
• transformer的特性以及不足，结合问题进行分析。

【本文工作】

本文提出了一种扩散核注意网络用于脑疾病分类，该网络以变压器的编码器网络为骨干。

第一个设计点：核函数代替注意力

提出了一种内核注意机制来取代原有的注意模块。建议在注意模块中使用一个核函数来代替原来的点积操作，从而形成一种内核注意机制，然后计算该空间中数据对之间的内积来实现特征相似性度量。自我注意的计算需要更少的参数，这些参数可以在模型训练过程中自动学习。这不仅大大减少了要优化的参数数量，缓解了小样本问题，而且引入了非线性注意机制来模拟大脑区域之间的复杂交互。我们的工作是