2021-9月第三周周报

摘要

本周主要对自己的想法进行代码实现，考虑图注意力机制，对多标签数据集进行分类。

---

一、什么是图注意力机制？

之前讲过关于ML-GCN的一篇论文，理解了图卷积网络。该论文是将CNN用于特征提取，GCN用于标签嵌入后不断学习一个分类器。最终分类器乘以提取的特征得到分类结果。
GCN的原理是每个节点与其邻居进行加权和传入下一层，成为该节点的下一层数据。每个邻居的权重是一样的。

GAT网络与GCN的区别就是，邻居的权重是不一样的。

$h$表示输入样本，$i,j$分别表示不同的样本，$j$还表示是$i$的邻居节点与$W$相乘之后，表示将样本进行降维 ，$a$表示注意系数。
$$e_{ij}=a\left(\mathbf{W}{\vec{h}}_i,\mathbf{W}{\vec{h}}_j\right)$$
$\alpha$表示注意力系数，通过$softmax$函数计算权重。
$${\alpha }_{ij}={\mathrm{softmax}}_j\left(e_{ij}\right)=\frac{\exp \left(e_{ij}\right)}{{\sum }_{k\in {\mathcal{N}}_i}\exp \left(e_{ik}\right)}$$
可以表示成下面的式子：
$${\alpha }_{ij}=\frac{\exp \left(\mathrm{LeakyReLU}\left({\overrightarrow{\mathbf{a}}}^T\left[\mathbf{W}{\vec{h}}_i\Vert \mathbf{W}{\vec{h}}_j\right]\right)\right)}{{\sum }_{k\in {\mathcal{N}}_i}\exp \left(\mathrm{LeakyReLU}\left({\overrightarrow{\mathbf{a}}}^T\left[\mathbf{W}{\vec{h}}_i\Vert \mathbf{W}{\vec{h}}_k\right]\right)\right)}$$
将上一步得到的权重系数与降维后的邻居相乘求和，用$\sigma$表示激活函数
$${\vec{h}}_i^{\prime }=\sigma \left(\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}\mathbf{W}{\vec{h}}_j\right)$$
根据上式可以得到新的节点值。然后根据更新后的节点值可以进行多标签分类。

二、实现方法

1.阅读图注意力机制那篇论文
论文地址：https://arxiv.org/abs/1710.10903
代码地址： https://github.com/Diego999/pyGAT
2.在GitHub上面找了一个代码看懂别人如何实现的
3.自己写代码实现

总结

本周实验结果有待调参改进。
flag数据集，hamming loss评价指标
后面的工作：注重参数的调整，然后达到更好的效果。