图神经网络（Graph Neural Networks）入门之Node Classification

又回来补DL的坑了，这次是关于一个相对较新的方向——图神经网络。之前想做melody/chord generation时听Computer Music方向的大佬Gus Xia教授随口提了一句可以用图神经网络。最近暑期跟Finance相关的研究又跟Knowledge Graph扯到一起，于是开始了解一点GNN~

为什么要在graph的基础上跑neural networks？目的其实就是为了考虑entities之间的关系。李宏毅教授（的助教）的课中举的一个很贴切的例子：给定一部悬疑片的人物信息，需要预测凶手是谁。直接考虑每个人物的信息可能无法推出凶手，于是需要考虑人物关系网中人物之间的关系（姐弟，同事，师生等）。

GNN有两种类型：①Spatial-based convolution ②Spectral-based convolution。

下面讲一下相对简单的spatial-based GNN：（图片源网页：https://www.youtube.com/watch?v=eybCCtNKwzA）

这一类GNN基本思路为不断进行aggregate，最后根据task类型来readout。Aggregation是指对于每个节点，用自己以及相邻（有边连接）的节点的信息来update下一层中自己的状态。具体实现方式有很多，比如取平均值、加权和等，也可以自己用距离不超过d的其他节点（若只考虑相邻节点那么d=1），而且这个距离也可以自己定义，甚至可以对相邻节点做attention（Graph Attention Networks）。

值得注意的是，aggregation中sum的效果一般比mean pooling或max pooling好，原因是取mean或max无法分辨出一些图的差比。它们对于一些不同的图也可能算出相同的结果。比如下图底部(a)(b)(c)三种情况：

之后按照DGL库的教程做了一个简单的node classification。给定Cora数据集（一个以论文为节点，引用为边的citation网络），其中已知所有的边以及一部分（训练集中）论文的categories，要求预测其它论文（验证集和测试集）的categories。

代码如下：

import dgl
from dgl.nn import GraphConv

import torch
from torch import nn, optim
import torch.nn.functional as F

import networkx as nx
import matplotlib.pyplot as plt

from graphviz import Digraph

dataset = dgl.data.CoraGraphDataset()
g = dataset[0]  # This DGL Dataset object only contains one single graph.
# print(g.ndata['feat'].shape, torch.sum(g.ndata['feat']==0), torch.sum(g.ndata['feat']!=0))
# print(len(g.all_edges()[0]))


class GCN(nn.Module):
    def __init__(self, in_dim, hidden_dim, num_classes):
        super(GCN, self).__init__()
        self.conv1 = GraphConv(in_dim, hidden_dim)
        self.conv2 = GraphConv(hidden_dim, num_classes)

    def forward(self, g, in_features):
        t = self.conv1(g, in_features)
        t = F.relu(t)
        t = self.conv2(g, t)
        return t


model = GCN(g.ndata['feat'].shape[1], 16, dataset.num_classes)


def train(g, model, device, lr=0.01, epochs=300):
    model = model.to(device)
    g = g.to(device)

    optimizer = optim.Adam(model.parameters(), lr=lr)
    best_val_acc = 0
    best_test_acc = 0  # corresponding to the state of best_val_acc

    features = g.ndata['feat']
    labels = g.ndata['label']
    train_mask = g.ndata['train_mask']
    val_mask = g.ndata['val_mask']
    test_mask = g.ndata['test_mask']

    criterion = nn.CrossEntropyLoss()

    for epoch in range(epochs):
        outputs = model(g, features)
        preds = outputs.argmax(dim=1)
        loss = criterion(outputs[train_mask], labels[train_mask])

        train_acc = (preds[train_mask]==labels[train_mask]).float().mean()
        val_acc = (preds[val_mask]==labels[val_mask]).float().mean()
        test_acc = (preds[test_mask]==labels[test_mask]).float().mean()

        if best_val_acc < val_acc:
            best_val_acc = val_acc
            best_test_acc = test_acc

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if (epoch + 1) % 10 == 0:
            print(f'Epoch : {epoch + 1}, train loss: {loss}, valid accuracy: {val_acc}, test accuracy: {test_acc}')

    model = model.cpu()
    torch.save(model.state_dict(), 'model_state.pkl')


device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
train(g, model, device)
'''
G = nx.DiGraph()
labels = g.ndata['label'].numpy().tolist()

G.add_nodes_from([i for i in range(2708)])

sts = g.all_edges()[0].numpy().tolist()
eds = g.all_edges()[1].numpy().tolist()
for i in range(len(sts)):
    G.add_edge(sts[i], eds[i], weight=0.01)


plt.figure(3, figsize=(18, 18))
nx.draw(G, with_labels=False, node_color=labels, node_size=0.8)
plt.show()
plt.close()
'''

试图visualize整个citation网络但没找到合适的方法。画出来大量的节点压成一团，几乎看不清连接这些节点的边，之后找高人指点一下.......

之后还有link prediction等简单的task可以尝试，做完再更~