GAT核心公式
一、在layers.py中计算GraphAttentionLayer,选框内系数α的求法如下:
W的求法如下:
【1. 其中涉及到的xavier初始化方法
是为了使得每一层输出的方差应该尽量相等
#初始化w参数
nn.init.xavier_uniform_(self.W.data, gain=1.414)
】
计算Wh
计算e
需要注意的是此处求得的e值是所有顶点之间的e值,到了后面torch.where的时候才是计算的相邻节点之间的e值。
计算Wh2的时候注意a的取值,感觉它是取了各自向量对应的权重,所以Wh1和Wh2不一样。
【张量之间维度不一样时相加
】
计算第二个公式,第一个attention即连接边对应的e值,第二个attention就是求得的注意力系数:
【2. 此处torch.where涉及知识点:
torch.where(condition,a,b)其中输入参数condition:条件限制,如果满足条件,则选择a,否则选择b作为输出。
attention = torch.where(adj > 0, e, zero_vec)
3 nn.softmax()函数中参数dim的用法。】
对求得的attention系数进行dropout:
(上图内容的参考资料)
计算第三个公式:
【4. matmul维度不一样的矩阵做乘法时
5. 在下载数据集部分[utils.py],得到了a. 邻接矩阵;b. 特征; c. 标签; d. idx_train 训练索引; e. idx_val 验证索引;f. idx_test 测试索引
首先通过np.genfromtxt 导入数据
然后就是得到标签的独热编码
6. 等号两边的self.不一样,等号左边的是实例,等号右边的是参数
定义类的时候,若是添加_init_方法,那么在创建类的实例的时候,实例会自动调用这个方法,一般用来对实例的属性进行初始化
7.init函数的作用:对实例的属性进行初始化
8. 更详细的GAT解读可参考如下链接:https://blog.csdn.net/weixin_36474809/article/details/89401552】
以上。本次参考资料都已标明出处。