Learning Dynamic Graph Representation of BrainConnectome with Spatio-Temporal Attention文献笔记

每天吃的很好的Ruby

于 2025-02-20 21:01:16 发布

阅读量797

点赞数 23

文章标签：笔记 python 机器学习脑机接口人工智能深度学习神经网络

本文链接：https://blog.csdn.net/weixin_49983968/article/details/145706472

版权

一、基本信息

GNN遇到的问题：

通常没有考虑到FC网络随时间波动的动态特性。
与静态FC方法相比，性能有所降低，并且没有提供时间解释性

本文方法STAGIN介绍：

一种学习具有时空注意力的大脑连接组动态图表示的方法。具体来说，大脑图的时间序列被输入STAGIN以获得动态图表示，READOUT函数和Transformer编码器分别提供了空间和时间上的可解释性。

数据集：HCP-Rest和HCP-Task

源码链接：https://github.com/egyptdj/stagin

文献引用：Kim B H, Ye J C, Kim J J. Learning dynamic graph representation of brain connectome with spatio-temporal attention[J]. Advances in Neural Information Processing Systems, 2021, 34: 4314-4327.

二、具体算法

1.问题建立

目标函数如下：

其中 $G_{dyn}=G(1),...,G(T)$ 是具有T个时间点的脑图序列， $h_{G_{dyn}}$ 是长度为D的动态图G（T）的向量表示。

图 $G(t)=(V(t),E(t))$ , 其中 $V(t)={x_1(t),x_2(t),...,x_N(t)}$ 为顶点集，E(t)为边集。N(i)为第i个顶点的邻域。

在本文中用GNN来提取图表示 $h_{G_{(t)}}$ 然后由Transformer将图表示转化为最终的表示，其过程如下：

网络框架如下所示：

（a） STAGIN的总体框架。动态图序列首先输入到GIN，然后是GARO或SERO，这会产生一系列空间关注图表示向量。在表示向量上计算时间注意力，并对时间注意力图表示进行平均，以生成最终表示。（b）基于注意力的READOUT模块。GARO和SERO都使用全局平均池图特征hG来计算空间注意力zspace。

2.图同构网络

GNN类网络如下：

其中 $h^{(k)}_v$ 表示k层节点v的特征向量。

图重构网络GIN：　通常将总和定义为聚合，将具有两层的多层感知器（MLP）定义为COMBINE，通过以下方式更新层k处的节点表示

其中， $\epsilon$ 为一个初始化为零的可学习参数

H(k)是节点特征向量的堆栈，I是恒等矩阵，A是节点特征之间的邻接矩阵，W是MLP的网络权重，σ是非线性函数。

READOUT函数使用更新的节点特征 $h_v^{(k)}$ 来计算整个图的表示：

一般来说，READOUT函数被简单地定义为计算输入节点特征的总和或平均值。

3.动态图定义

输入动态FC图序列由4D fMRI数据和随时间变化的3D体素构建而成。通过在预定义的3D图谱中取平均值来提取ROI时间序列矩阵P，该图谱由每个时间点的N个ROI组成。每个ROI的值随着时间的推移而标准化。构建动态FC矩阵遵循滑动窗口方法，其中长度为Γ的时间窗口随时间以步长S移动去生成t个窗口，时间t处的FC被定义为两个窗口时间序列之间的相关系数矩阵R（t）

最终的二进制邻接矩阵A（t）是通过将相关矩阵的前30个百分位值阈值化为连通值，否则为非连通值，从FC矩阵R（t）中获得的。

与邻接矩阵A（t）不同，节点索引v处的节点特征向量xv（t）在传统定义上在t上不会改变，忽略任何时间变化。为了解决这个问题，将编码的时间戳η（t）连接到空间一热编码ev，然后用可学习的参数矩阵W 进行线性映射，以定义输入节点特征

在这里，可学习的时间戳编码器η是一个门控循环单元（GRU）[9]，它接收到滑动窗口端点的ROI时间序列作为输入。这样，不论是点集还是边集都包括时间t。

4.基于注意力的READOUT的空间注意力

GNN的传统READOUT函数可以被认为是一个固定的解码器，它从没有可学习参数的节点特征中解码出整个图特征。

通过将注意力纳入READOUT函数来解决这个问题，这里的注意力是指模型学习到的节点之间的缩放系数。

其中s(·）为注意力函数，基于注意力的READOUT提出了两种类型的注意力函数（·），分别命名为图形注意力READOUT（GARO）和挤压激励READOUT（SERO）。

GARO：GARO遵循Transformer基于关键查询嵌入的注意力。然而，密钥嵌入是根据节点特征矩阵H计算的，而查询嵌入是根据unattended表示向量 $H\phi_{mean}$ 计算的：

SERO：SERO遵循基于MLP的挤压和激励网络关注。然而，压缩图表示的注意力并没有缩放信道维度，而是缩放SERO中的节点维度：

5.时间注意力

为了获得跨时间的关注，我们在图特征序列上使用单头Transformer编码器。时间注意力可以通过Transformer编码器的softmax函数后的自注意力权重Ztime 来衡量。

每层动态图表示是通过将变压器编码器在每层时间上输出的时间关注特征相加来计算的

三、实验

1.数据集

HCP S1200版本中公开可用的2 fMRI数据用于我们的实验。这些数据是从知情同意的自愿参与者那里收集的，并且是完全匿名的。

作者构建了两个数据集，HCP-Rest和HCP-Task，具体取决于受试者在图像采集过程中是休息还是执行特定任务。

HCP-Rest数据集由预处理和ICA去噪的静息状态fMRI数据组成，受试者在数据采集期间被指示休息15分钟。本文使用了四个会话的首次运行数据，并排除了Tmax<1200的采集时间短的数据。最终有1093张图像被纳入数据集，其中包括594名女性和499名男性受试者。每个受试者的性别作为HCP-Rest数据集的标签。

HCP-Task数据集由预处理的任务fMRI数据组成，受试者在数据采集过程中被指示执行特定任务。例如，在fMRI的“运动”任务中，参与者被告知在采集过程中执行其中一个子任务，在左手、左脚、右手、右脚或舌头上进行运动。有七种类型的任务，包括工作记忆、社交、关系、运动、语言、赌博和情绪。排除采集时间短的fMRI数据后，数据集中包含7450张图像。数据采集期间的任务类型作为HCP任务数据集的标签，设C=7。