dgl-03 graphsage


graphsage

  1. 对某个节点的邻居进行采样聚合,作为该节点的特征,来预测label
  2. 是 inductive 学习,不需要学习整个graph,学习聚合方式
    在这里插入图片描述
  3. 学习公式如下,比较简单明了,如果边有权重,每个h聚合时可以乘以权重

代码实现

官方代码

  • dgl代码写得非常好了,基本很容易理解, 主要在数据采样和模型输入输出做个记录

数据格式

# 1. 一般训练gnn,需要构建以下5个数据:
1. graph: 根据边构建的dgl graph
2. labels: 每个节点对应的label
3. train_idx: 训练数据对应的节点index
4. valid_idx: 验证数据对应的节点index
5. node_feat: 每个节点对应的特征向量

# 2. 用dgl的 sampler 和 dataloader, 实现节点采样
fanouts = [20, 20]  # 每层每个节点采样数量
train_sampler = MultiLayerNeighborSampler(fanouts)
train_dataloader = NodeDataLoader(graph,
                                  train_idx,
                                  train_sampler,
                                  device=device,
                                  use_ddp=False,
                                  batch_size=batch_size,
                                  shuffle=True,
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
首先,需要导入相关的库,包括DGLPyTorch: ``` import dgl import torch import torch.nn as nn import dgl.function as fn from dgl.nn.pytorch import GraphConv, GATConv ``` 接下来就可以定义GraphSAGE模型了: ``` class GraphSAGE(nn.Module): def __init__(self, in_feats, out_feats, n_layers, activation, aggregator_type): super(GraphSAGE, self).__init__() self.n_layers = n_layers self.activation = activation self.layers = nn.ModuleList() self.aggregator_type = aggregator_type # input layer self.layers.append(GraphConv(in_feats, out_feats, aggregator_type=self.aggregator_type)) # hidden layers for i in range(1, n_layers): self.layers.append(GraphConv(out_feats, out_feats, aggregator_type=self.aggregator_type)) def forward(self, blocks, x): h = x for l, (layer, block) in enumerate(zip(self.layers, blocks)): h_dst = h[:block.number_of_dst_nodes()] h = layer(block, (h, h_dst)) if l != self.n_layers - 1: h = self.activation(h) return h ``` 这里我们定义了一个GraphSAGE类,包含输入特征的维度、输出特征的维度、隐藏层的数量、激活函数以及aggregator类型。在初始化函数中,我们定义了一个ModuleList,包含了所有的图卷积层。第一层的输入维度为in_feats,输出维度为out_feats,aggregator类型为我们在定义图时指定的类型;其他的隐藏层的输入和输出维度都为out_feats。 在forward函数中,我们首先将输入特征x赋值给h,然后依次对每一层进行计算。对于每一层,我们先将h切分成两部分,分别对应于当前block中的源节点和目标节点。然后对切分后的h进行图卷积操作,并将结果再次赋值给h。如果当前不是最后一层,我们还需要对h进行激活函数的处理。最后返回最后一层的结果h。 接下来,我们可以定义训练函数,包括数据加载、模型训练、模型评估等步骤: ``` def train(model, optimizer, loss_fn, train_loader, val_loader, device, epochs): best_val_loss = float('inf') best_model = None for epoch in range(epochs): model.train() train_loss = 0 for batch, data in enumerate(train_loader): subgraph, features, labels = data features = features.to(device) labels = labels.to(device) blocks = dgl.to_block(subgraph, subgraph.nodes()) output = model(blocks, features) loss = loss_fn(output.squeeze(), labels.float()) optimizer.zero_grad() loss.backward() optimizer.step() train_loss += loss.item() train_loss /= (batch + 1) val_loss = evaluate(model, loss_fn, val_loader, device) print('Epoch {:d} | Train Loss {:.4f} | Val Loss {:.4f}'.format(epoch+1, train_loss, val_loss)) if val_loss < best_val_loss: best_val_loss = val_loss best_model = model return best_model def evaluate(model, loss_fn, loader, device): model.eval() loss = 0 with torch.no_grad(): for batch, data in enumerate(loader): subgraph, features, labels = data features = features.to(device) labels = labels.to(device) blocks = dgl.to_block(subgraph, subgraph.nodes()) output = model(blocks, features) loss += loss_fn(output.squeeze(), labels.float()).item() return loss / (batch + 1) ``` 在训练函数中,我们首先定义了一个best_val_loss变量,用于记录最好的验证集误差和对应的模型。然后对于每个epoch,我们首先将模型设置为训练模式,然后遍历所有的训练数据,对于每个batch,我们首先将数据转移到设备上,然后将子图、特征和标签分别赋值给subgraph、features和labels变量。接下来,我们使用model对blocks和features进行计算,并计算loss。将梯度清零,执行反向传播和参数更新操作。最后,将该batch的loss加入train_loss中,并计算平均train_loss。 在每个epoch结束时,我们调用evaluate函数对模型进行验证集上的评估。在evaluate函数中,我们首先将模型设置为评估模式,然后遍历所有的验证数据,对于每个batch,我们首先将数据转移到设备上,然后将子图、特征和标签分别赋值给subgraph、features和labels变量。接下来,我们使用model对blocks和features进行计算,并计算loss。最后,将该batch的loss加入loss中,并计算平均loss。 接下来,我们可以加载数据集并进行训练: ``` from dgl.data.utils import load_graphs, save_graphs train_g, val_g, test_g = load_graphs('data.dgl') train_loader = dgl.dataloading.EdgeDataLoader(train_g, 'train', batch_size=1024, shuffle=True, drop_last=False) val_loader = dgl.dataloading.EdgeDataLoader(val_g, 'val', batch_size=1024, shuffle=False, drop_last=False) test_loader = dgl.dataloading.EdgeDataLoader(test_g, 'test', batch_size=1024, shuffle=False, drop_last=False) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = GraphSAGE(256, 1, 2, nn.ReLU(), 'mean').to(device) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) loss_fn = nn.MSELoss() best_model = train(model, optimizer, loss_fn, train_loader, val_loader, device, epochs=100) test_loss = evaluate(best_model, loss_fn, test_loader, device) print('Test Loss {:.4f}'.format(test_loss)) ``` 在加载数据集时,我们使用load_graphs函数从指定路径加载三张图,分别对应于训练集、验证集和测试集。接下来,我们使用EdgeDataLoader对训练集、验证集和测试集进行数据加载。我们使用cuda进行训练,如果不可用则使用cpu。接下来,我们定义了一个GraphSAGE模型,优化器和损失函数。然后调用train函数进行训练,并使用evaluate函数在测试集上进行评估。最后输出测试集的loss。 GraphSAGE模型的原理是通过对每个节点的邻居节点进行聚合,来生成每个节点的特征表示。在模型训练中,我们首先将每个子图切分成源节点和目标节点,然后对源节点和目标节点分别进行图卷积操作,得到它们的特征表示。接下来,我们对源节点和目标节点进行聚合,得到每个节点的邻居节点的特征表示。最后,我们将源节点和目标节点进行拼接,并将结果传递给下一层进行计算。在每一层中,我们还可以使用不同的聚合方式,例如mean、max或LSTM等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值