图神经网络Task2

前言

为节点进行节点表征是图计算任务的关键，本节学习基于神经网络的节点表征。消息传递范式是一种聚合邻接节点信息更新中心节点信息的范式。

1.消息传递范式基本概念

基于消息传递范式中心节点单次信息更新过程：A、C变换→A、C聚合→B更新(原本的B+聚合的A、C共同变换)；
多次更新之后为节点表征。
​​​​​​
消息传递范式可以表述为：
$${\mathbf{x}}_i^{(k)}={\gamma }^{(k)}\left({\mathbf{x}}_i^{(k-1)},{\square }_{j\in \mathcal{N}(i)}{\varphi }^{(k)}\left({\mathbf{x}}_i^{(k-1)},{\mathbf{x}}_j^{(k-1)},{\mathbf{e}}_{j,i}\right)\right)$$

2.MessagePassing基类初步介绍

PyG库中提供MessagePassing基类，可以实现消息传播的自动处理。
因此，我们可以通过继承基类的方式构造图神经网络，1）定义函数message()方法(即函数$\varphi$)、2）updata()方法（即函数$\gamma$）3）提供消息聚合方案（aggr= “add” or aggr= “mean” or aggr= “max”）
MessagePassing基类中有一些主要使用的方法：
1） MessagePassing(aggr=“add”, flow=“source_to_target”, node_dim=-2)
用于初始化；
2）MessagePassing.propagate(edge_index, size=None, **kwargs)
用于传递消息的其实调用，该方法实现过程中调用了message、update等方法。
3）MessagePassing.message(…)
首先确定各节点传递消息的边的集合，然后为各边创建要传递的函数，即实现$\varphi$函数
4) MessagePassing.aggregate(…)
将从源节点传递的消息聚合到目标节点，可选的聚合方式有add、 mean、 max等
5）MessagePassing.update(aggr_out, …)
为每个节点更新节点表征，即实现$\gamma$函数。

3.GCNConv类搭建单层图神经网络

GCNConv类继承于MessagePassing基类，以GCNConv为例学习如何继承MessagePassing类并搭建一个简单图神经网络。
GCNConv描述为：
x i ( k ) = ∑ j ∈ N ( i ) ∪ { i } 1 deg ⁡ ( i ) ⋅ deg ⁡ ( j ) ⋅ ( Θ ⋅ x j ( k − 1 ) ) , \mathbf{x}_i^{(k)} = \sum_{j \in \mathcal{N}(i) \cup \{ i \}} \frac{1}{\sqrt{\deg(i)} \cdot \sqrt{\deg(j)}} \cdot \left( \mathbf{\Theta} \cdot \mathbf{x}_j^{(k-1)} \right), xi(k)​=j∈N(i)∪{i}∑​deg(i) ​⋅deg(j) ​1​⋅(Θ⋅xj(k−1)​),
相邻节点特征${\mathbf{x}}_i^{(k)}$, 权重矩阵$\mathbf{\Theta }$, (类似于普通神经网络的x和W)。这个过程用文字表述就是：

1. 向邻接矩阵添加自环边。
2. 线性转换节点特征矩阵。
3. 计算归一化系数$deg(i)$，$deg(j)$。
4. 归一化$j$中的节点特征。
5. 将相邻节点特征相加（"求和 "聚合）。

3.1 继承MessagePassing 定义GCNConv类

import torch
from torch_geometric.nn import MessagePassing
from torch_geometric.utils import add_self_loops, degree

class MyGCNConv(MessagePassing):
    def __init__(self, in_channels, out_channels):
        super(GCNConv, self).__init__(aggr='add', flow='source_to_target')
        self.lin = torch.nn.Linear(in_channels, out_channels)

    def forward(self, x, edge_index):
        edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0))
        x = self.lin(x)
        row, col = edge_index
        deg = degree(col, x.size(0), dtype=x.dtype)
        deg_inv_sqrt = deg.pow(-0.5)
        norm = deg_inv_sqrt[row] * deg_inv_sqrt[col]
        return self.propagate(edge_index, x=x, norm=norm)

    def message(self, x_j, norm):
        return norm.view(-1, 1) * x_j

3.2 实现一个简单图神经网络

如下定义了一个每次仅进行一次消息传递过程的图神经网络。后续可通过串联多个这样的简单神经网络，实现复杂神经网络的构造。

from torch_geometric.datasets import Planetoid
if __name__ == '__main__':
    dataset = Planetoid(root='dataset/Cora', name='Cora')
    data = dataset[0] #导入上一节的数据集

    net = GCNConv(data.num_features, 64)
    h_nodes = net(data.x, data.edge_index)

4.MessagePassing再析与部分方法覆写

部分时候有必要覆写原本类中的方法，如message()，aggragate()，message_and_aggregate()， update() 等。【暂时放下放法重写的学习】

5.作业2

5.1. 请总结MessagePassing基类的运行流程。

MessagePassing基类运行流程：
1）首先初始化，给定消息传递流向flow，传播维度node_dim
2）运行重写类中的forward()方法，调用其中的propagate方法，进行message（确定需要传递的边，为各边确定要传递的函数）和aggregate（节点聚合）和update（节点更新）。

5.2. 请复现一个一层的图神经网络的构造，总结通过继承MessagePassing基类来构造

没写出来暂时参考大佬作业 link.

import torch
from torch.nn import functional as F
from torch_geometric.nn import MessagePassing
from torch_geometric.datasets import Planetoid


class MyGNN(MessagePassing):
    def __init__(self, in_channels, out_channels, device):
        super(MyGNN, self).__init__(aggr='add')
        self.in_channels = in_channels
        self.out_channels = out_channels

        self.lin1 = torch.nn.Linear(in_channels, out_channels).to(device)
        self.lin2 = torch.nn.Linear(in_channels, out_channels).to(device)
        self.lin3 = torch.nn.Linear(in_channels, out_channels).to(device)

    def forward(self, x, edge_index):
        a = self.lin1(x)
        b = self.lin2(x)
        out = self.propagate(edge_index, a=a, b=b)
        return self.lin3(x) + out

    def message(self, a_i, b_j):
        out = a_i - b_j
        return out

    def __repr__(self):
        return '{}({}, {})'.format(self.__class__.__name__, 		self.in_channels, self.out_channels)