《BrainNN》阅读笔记

---

前言

之前先看的《BrainNNExplainer》，里面用到的消息传递网络BrainNN就源于本篇文章。这篇文章也是顶会文章，Individual level的，创新点在于同时用了结构像和功能像的MRI去预测疾病。

论文地址：https://arxiv.org/abs/2107.03220
代码地址：寻找中…

---

一、模型

结构像DTI以及功能像fMRI分别构成一个graph，通过参数共享的网络学习出各自的全局向量表示。根据聚合函数，将两个模态的全局向量表示融合得到被试的表示向量，用于下游任务。

1.定义

数据集： M = { ( { G i s , G i f } ) , y i } i S M = \{(\{G_{i}^s, G_{i}^f \}), y_{i}\}_{i}^S M={({Gis​,Gif​}),yi​}iS​ 。其中S代表被试数量，$G_i^s$、$G_i^f$分别代表第$i$个被试的结构脑网络和功能脑网络。

脑网络： $G_i^{\ast }=(V,E_i^{\ast },W_i^{\ast })$ 。 V = { v i } i = 1 N V = \{v_{i}\}_{i=1}^N V={vi​}i=1N​为节点集，$E_i^{\ast }=V\times V$是边集，$W_i^{\ast }\in R^{N\times N}$则为加权邻接矩阵。

属性： $x_n=[deg(n);min(D_n);max(D_n);mean(D_n);std(D_n)]$ ， D n = { d e g ( m ) ∣ ( n , m ) ∈ e i j } D_{n} = \{deg(m) | (n,m)∈ e_{ij}\} Dn​={deg(m)∣(n,m)∈eij​}。
     其中$deg(.)$为度，$[.,.]$为拼接操作。

标签： $y_i$（患者或正常人）。

2.BrainNN

1. 根据节点$i$的嵌入表示、节点$j$的嵌入表示以及它们之间的连接强度$w_{ij}$生成$i,j$之间的消息向量$m_{ij}$。
   
   $m_{ij}^{(l)}=t_{\Theta }([h_i^{(l)};h_j^{(l)};w_{ij}])$

2. 对于节点$i$，聚合其所有邻居的消息向量并经非线性激活后得到其表示向量。
   
   h i ( l ) = σ ( ∑ j ∈ N i ∪ { i } m i j ( l − 1 ) ) h_{i}^{(l)} = \sigma(\sum_{j ∈ N_{i} ∪ \{i\}}m_{ij}^{(l-1)}) hi(l)​=σ(∑j∈Ni​∪{i}​mij(l−1)​)
   
   
3. Readout层聚合所有节点的嵌入表示，得到全局的表示向量$z\in R^D$。
   
   $z^{\prime }={\sum }_{i\in V}{h}_i^{(k)},z=t_{\Phi }(z^{\prime })+z^{\prime }$
   
   这里的公式原文中应该是写错了。还有一点就是，这个全局表示向量$z$仅仅是一个模态的（结构像或功能像）。文中取两个模态的全局向量$z_i^s,z_i^f$的均值，$z_i=(z_i^s+z_i^f)/2$，作为被试最后用于下游任务的表示向量。

3.损失函数

由于这个模型是有用到对比学习的方法的，所以在损失函数中除了有交叉熵损失之外，还引入了对比损失$J_{con}$。

    $J_{con}=\frac{1}{2S}{\sum }_{G_i\in M}[\frac{1}{N}{\sum }_{v_i\in V}(I(h_i^f;z_i^s)+I(h_i^s;z_i^f))]$

     I ( h i ; z i ) = − s p ( − d ( h i , z i ) ) − 1 N − 1 ∑ v j ∈ V ∖ { v i } s p ( d ( h i , z j ) ) I(h_{i};z_{i})=-sp(-d(h_{i},z_{i})) - \frac{1}{N-1}\sum_{v_{j}∈V\setminus\{v_{i}\}}sp(d(h_{i},z_{j})) I(hi​;zi​)=−sp(−d(hi​,zi​))−N−11​∑vj​∈V∖{vi​}​sp(d(hi​,zj​))

    $sp(x)=log(1+e^x)$

    $d(a,b)=sigmoid(<a,b>)$

二、实验

1.对比实验

这里的准确率和《BrainNNExplainer》中的准确率让我迷惑了。

2.消融实验

对比V-GCN是为了体现本文提出的消息传递网络的性能。

对比CONCAT是为了体现本文提出的多模态融合策略（取均值）的好处。

3.可视化

---