图神经网络7日打卡营心得

图神经网络7日打卡营心得

• deepwalk&node2vec游走算法
  
  

2.GCN+GAT
核心是send和recv 函数，通过两个函数实现消息传递机制。
GAT模型进一步考虑了邻节点对当前节点的重要程度。

• GraphSage

采样部分 ：以某个节点为中心，按照距该节点的距离依次采样得到子图，作为训练数据

模型部分 ：提供了聚合函数实现，包括Mean，Maxpool，MeanPool和LSTM四种方式

训练部分 ：实现了数据读取、模型构建和模型训练部分。

采样：假设我们要利用中心节点的k阶邻居信息，则在聚合的时候，需要从第k阶邻居传递信息到k-1阶邻居，并依次传递到中心节点。t个邻居节点加入采样集合。接着将邻居节点作为新的中心节点继续进行第t-1轮训练的节点采样，以此类推。最后将采样到的节点和边一起构造得到子图。
聚合：首先用PGL中的Send和Receive接口实现邻居信息的聚合，然后分别学习两个全连接层，映射得到当前节点和邻居信息的表示，最后将二者拼接起来经过L2标准化，得到新的的节点表示。不同聚合函数的区别就在于信息传递机制的不同。(Mean、Max、LSTM)

4.ERNIESage+UniMP

标签泄露：Masked Label Prediction