图神经网络task_07

最新推荐文章于 2024-07-17 19:54:45 发布
最新推荐文章于 2024-07-17 19:54:45 发布
阅读量450 收藏 6
点赞数 2
文章标签： 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41358220/article/details/118612568
版权

图预测任务实践

本文主要参考DataWhale图神经网络组队学习

图分类

例如预测化学分子的标签
在这里插入图片描述
通过将获取到的节点表示经过池化得到图级别的表示，再利用图级别的表示进行损失函数的构造。

模型搭建

由于设备的关系，在对教程中的PCQM4M数据集处理存在一定问题，因此采用GIN模型对MUTAG数据集进行实验。

import os.path as osp

import torch
import torch.nn.functional as F
from torch.nn import Sequential, Linear, BatchNorm1d, ReLU
from torch_geometric.datasets import TUDataset
from torch_geometric.data import DataLoader
from torch_geometric.nn import GINConv, global_add_pool

path = osp.join(osp.dirname(osp.realpath(__file__)), '..', 'data', 'TU')
dataset = TUDataset(path, name='MUTAG').shuffle()

train_dataset = dataset[len(dataset) // 10:]
test_dataset = dataset[:len(dataset) // 10]

train_loader = DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=128)


class Net(torch.nn.Module):
    def __init__(self, in_channels, dim, out_channels):
        super(Net, self).__init__()

        self.conv1 = GINConv(
            Sequential(Linear(in_channels, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv2 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv3 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv4 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv5 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.lin1 = Linear(dim, dim)
        self.lin2 = Linear(dim, out_channels)

    def forward(self, x, edge_index, batch):
        x = self.conv1(x, edge_index)
        x = self.conv2(x, edge_index)
        x = self.conv3(x, edge_index)
        x = self.conv4(x, edge_index)
        x = self.conv5(x, edge_index)
        x = global_add_pool(x, batch)
        x = self.lin1(x).relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return F.log_softmax(x, dim=-1)


device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net(dataset.num_features, 32, dataset.num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)


def train():
    model.train()

    total_loss = 0
    for data in train_loader:
        data = data.to(device)
        optimizer.zero_grad()
        output = model(data.x, data.edge_index, data.batch)
        loss = F.nll_loss(output, data.y)
        loss.backward()
        optimizer.step()
        total_loss += float(loss) * data.num_graphs
    return total_loss / len(train_loader.dataset)


@torch.no_grad()
def test(loader):
    model.eval()

    total_correct = 0
    for data in loader:
        data = data.to(device)
        out = model(data.x, data.edge_index, data.batch)
        total_correct += int((out.argmax(-1) == data.y).sum())
    return total_correct / len(loader.dataset)


for epoch in range(1, 101):
    loss = train()
    train_acc = test(train_loader)
    test_acc = test(test_loader)
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}, Train Acc: {train_acc:.4f} '
          f'Test Acc: {test_acc:.4f}')

图分类结果如下所示：
在这里插入图片描述

调超参数进行实验结果对比

上述代码中设置了GIN的隐层维度为32，这里我们进行16和64的设置，查看实验结果对比：

import os.path as osp

import torch
import torch.nn.functional as F
from torch.nn import Sequential, Linear, BatchNorm1d, ReLU
from torch_geometric.datasets import TUDataset
from torch_geometric.data import DataLoader
from torch_geometric.nn import GINConv, global_add_pool

path = osp.join(osp.dirname(osp.realpath(__file__)), '..', 'data', 'TU')
dataset = TUDataset(path, name='MUTAG').shuffle()

train_dataset = dataset[len(dataset) // 10:]
test_dataset = dataset[:len(dataset) // 10]

train_loader = DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=128)


class Net(torch.nn.Module):
    def __init__(self, in_channels, dim, out_channels):
        super(Net, self).__init__()

        self.conv1 = GINConv(
            Sequential(Linear(in_channels, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv2 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv3 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv4 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv5 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.lin1 = Linear(dim, dim)
        self.lin2 = Linear(dim, out_channels)

    def forward(self, x, edge_index, batch):
        x = self.conv1(x, edge_index)
        x = self.conv2(x, edge_index)
        x = self.conv3(x, edge_index)
        x = self.conv4(x, edge_index)
        x = self.conv5(x, edge_index)
        x = global_add_pool(x, batch)
        x = self.lin1(x).relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return F.log_softmax(x, dim=-1)


device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net(dataset.num_features, 16, dataset.num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)


def train():
    model.train()

    total_loss = 0
    for data in train_loader:
        data = data.to(device)
        optimizer.zero_grad()
        output = model(data.x, data.edge_index, data.batch)
        loss = F.nll_loss(output, data.y)
        loss.backward()
        optimizer.step()
        total_loss += float(loss) * data.num_graphs
    return total_loss / len(train_loader.dataset)


@torch.no_grad()
def test(loader):
    model.eval()

    total_correct = 0
    for data in loader:
        data = data.to(device)
        out = model(data.x, data.edge_index, data.batch)
        total_correct += int((out.argmax(-1) == data.y).sum())
    return total_correct / len(loader.dataset)


for epoch in range(1, 101):
    loss = train()
    train_acc = test(train_loader)
    test_acc = test(test_loader)
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}, Train Acc: {train_acc:.4f} '
          f'Test Acc: {test_acc:.4f}')

在这里插入图片描述
将GIN隐层维度设置为16时，可以看到分类准确率明显提升。

import os.path as osp

import torch
import torch.nn.functional as F
from torch.nn import Sequential, Linear, BatchNorm1d, ReLU
from torch_geometric.datasets import TUDataset
from torch_geometric.data import DataLoader
from torch_geometric.nn import GINConv, global_add_pool

path = osp.join(osp.dirname(osp.realpath(__file__)), '..', 'data', 'TU')
dataset = TUDataset(path, name='MUTAG').shuffle()

train_dataset = dataset[len(dataset) // 10:]
test_dataset = dataset[:len(dataset) // 10]

train_loader = DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=128)


class Net(torch.nn.Module):
    def __init__(self, in_channels, dim, out_channels):
        super(Net, self).__init__()

        self.conv1 = GINConv(
            Sequential(Linear(in_channels, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv2 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv3 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv4 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.conv5 = GINConv(
            Sequential(Linear(dim, dim), BatchNorm1d(dim), ReLU(),
                       Linear(dim, dim), ReLU()))

        self.lin1 = Linear(dim, dim)
        self.lin2 = Linear(dim, out_channels)

    def forward(self, x, edge_index, batch):
        x = self.conv1(x, edge_index)
        x = self.conv2(x, edge_index)
        x = self.conv3(x, edge_index)
        x = self.conv4(x, edge_index)
        x = self.conv5(x, edge_index)
        x = global_add_pool(x, batch)
        x = self.lin1(x).relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return F.log_softmax(x, dim=-1)


device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net(dataset.num_features, 64, dataset.num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)


def train():
    model.train()

    total_loss = 0
    for data in train_loader:
        data = data.to(device)
        optimizer.zero_grad()
        output = model(data.x, data.edge_index, data.batch)
        loss = F.nll_loss(output, data.y)
        loss.backward()
        optimizer.step()
        total_loss += float(loss) * data.num_graphs
    return total_loss / len(train_loader.dataset)


@torch.no_grad()
def test(loader):
    model.eval()

    total_correct = 0
    for data in loader:
        data = data.to(device)
        out = model(data.x, data.edge_index, data.batch)
        total_correct += int((out.argmax(-1) == data.y).sum())
    return total_correct / len(loader.dataset)


for epoch in range(1, 101):
    loss = train()
    train_acc = test(train_loader)
    test_acc = test(test_loader)
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}, Train Acc: {train_acc:.4f} '
          f'Test Acc: {test_acc:.4f}')

在这里插入图片描述
如果将GIN隐层维度设置成64，会发现分类准确率大幅下降。

调学习率（lr）

隐层分别为16，32，64，将学习率由0.01设为0.05，查看实验结果对比。
16：
在这里插入图片描述
32：
在这里插入图片描述
64：
在这里插入图片描述

根据超参变化绘制准确率表

dimdimdim
163264
lr0.010.88890.72220.6111
lr0.050.72220.50000.7222
深度遗忘YJ
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GINConv
Rory的博客
02-03 2139
GINConv 1. Weisfeiler-Lehman Test 论文名称：Weisfeiler-Lehman Graph Kernels 论文地址：https://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf Weisfeiler-Lehman Test用于判断两个图是否同构。Weisfeiler-Lehman Test是一个迭代的过程， Algorithm 1给出简洁的算法描述。 这个算法的关键思想是对node节
【GIN】
weixin_43327910的博客
10-30 6471
GIN
Task06：基于图神经网络的图表征学习方法
m0_46306014的博客
07-05 2025
Task06：基于图神经网络的图表征学习方法 本文参考datawhale开源学习资料 一、基于图同构网络（GIN）的图表征网络的实现 1. GINConv–图同构卷积层 提出图同构网络的论文是：How Powerful are Graph Neural Networks? ，可以参考【GNN】WL-test：GNN 的性能上界进行阅读。 图同构卷积层的数学定义如下： xi′=hΘ((1+ϵ)⋅xi+∑j∈N(i)xj) \mathbf{x}^{\prime}_i = h_{\mathbf{\Theta}}
基于图神经网络的图表征学习方法
weixin_43595036的博客
07-05 1819
1. 引言 图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络。 提出图同构网络的论文：How Powerful are Graph Neural Networks? 2. 基于图同构网络（GIN）的图表征网络的实现 基于图同构网络的图表征学习主要包含以下两个过程： 首先计算得到节点表征； 其次对图上各个节点的表征做图池化（Gra
torch_geometric -- Pooling Layers
发呆的比目鱼的博客
01-18 1934
torch_geometric -- Pooling Layers
图神经网络task7
weixin_46714700的博客
07-08 140
超大规模数据集类的创建 图神经网络的新基准Benchmarking Graph Neural Networks 与图形无关的NN（MLP）在小型数据集上的表现与GNN相同 对于较大的数据集，GNN改进了与图无关的NN 最简单形式的GNN表现较差 各向同性GNN架构在原始GCN上有所改进。GraphSage证明了在图卷积层中使用中心节点信息的重要性。GIN采用了中心节点特征以及一个新的分类器层，该分类器层在所有中间层均与卷积特征相连。DiffPool考虑了一种可学习的图形池化操作，其中在每个分辨率级别使用Gr
图神经网络task3
weixin_46714700的博客
06-23 100
基于图神经网络的节点表征学习 其中如何设计一套合理方式来高效地进行特征表示，是十分重要的，比如在cv与nlp任务中，我们会分别设计cnn模块与RNN模块来建模图像中像素点表征的信息、word表征的信息。 Graph的特征表示极为复杂，主要表现在以下三个方面： 1、极其复杂的拓扑结构，很难简单地像图像中的感受野来提取有效信息； 2、无特定的节点顺序； 3、通常graph会是动态变化的， 且使用多模态特征； 对graph进行特征学习的三个方法 1、Embedding Nodes 2、Random Walk 3、
神经网络分割模型-ISIC2018_Task01
05-11
包含：U-Net、AttenU-Net、R2AttU-Net三种常见网络模型，用户可自行下载其他网络放置在项目内进行对比实验。 环境：环境配置比较简单，python37环境下直接pip库就可。本项目使用了torch框架，比较简单易懂，没有很难...
目标检测定位算法源码_神经网络_定位_图像处理_
10-02
神经网络模型在目标检测中通常采用两种主要架构：基于区域的卷积神经网络（Region-based Convolutional Neural Networks, R-CNN）系列和单阶段检测器（One-Stage Detectors）。R-CNN系列包括Fast R-CNN、Faster R-...
Task09_Spleen.zip
02-07
3. 器官分割：利用卷积神经网络（CNN）或其他深度学习模型，训练模型自动识别并分割脾脏区域。 4. 模型评估：使用如Dice系数、Jaccard相似度等指标评估分割结果的准确性。 5. 模型优化：通过调整网络结构、损失函数...
task05卷积神经网络基础
01-06
卷积神经网络基础¶ 本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。 二维卷积层 本节介绍的是最常见的二维卷积层，常用于处理图像数据。 二维互相关运算...
动手学深度学习 task_2
01-20
在构建深度学习模型时，卷积神经网络（CNN）因其在处理图像数据上的优势而被广泛使用。CNN的核心是二维卷积运算，通过卷积核在输入数据上滑动，提取特征。感受野的概念描述了卷积核影响输出的输入区域大小。为了保持...
GNN学习笔记（七）：基于图神经网络的图表征学习方法
LuoMin2523的博客
07-05 2220
在此篇文章中我们将学习基于图神经网络的图表征学习方法，图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。 基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络，我们将以它为例，将通过该网络的实现、项目实践、理论分析，三个层面来学习基于图神经网络的图表征学习方法。 图表征网络的实现 基于图同构网络的图表征学习主要包含以下两个过程： 首先计算得到节点表征； 其次对图
Pytorch实现GIN(基于Message Passing消息传递机制实现)
CSDN 精品推荐
02-28 751
本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。
基于图同构网络（GIN）的图表征网络的实现
weixin_43868001的博客
07-05 5248
基于图同构网络（GIN）的图表征网络的实现 基于图同构网络的图表征学习主要包含以下两个过程： 首先计算得到节点表征； 其次对图上各个节点的表征做图池化（Graph Pooling），或称为图读 出（Graph Readout），得到图的表征（Graph Representation）。 在这里，我们将采用自顶向下的方式，来学习基于图同构模型（GIN）的图 表征学习方法。我们首先关注如何基于节点表征计算得到图的表征，而忽 略计算结点表征的方法。 基于图同构网络的图表征模块（GINGraphRepr Modu
图神经网络--pytorch_geometric基本使用
qq_52053775的博客
11-12 1905
self.conv1 = GCNConv(dataset.num_features, 4) # 只需定义好输入特征和输出特征即可h = self.conv1(x, edge_index) # 输入特征与邻接矩阵（注意格式，上面那种）# 分类层GCN()
图神经网络预训练 (3) - Context Prediction + 监督学习 代码
wufeil7的博客
05-26 2271
前两篇内容概述了Weihua Hu*, Bowen Liu*图神经网络预训练的方法，以及context prediction进行预训练的实施代码。 context prediction 学习的图内的原子/边信息的表征，并没有包括图层面的信息。 这一部分的监督学习，是图层次的监督学习，目的是把图层面的信息增加到图的表征向量G(h)中。经过图层次的监督学习，得到的模型就可以直接用于下游的任务。 文章方法：在节点层面预训练的模型后加上一个简单的线性模型，用于图层面的监督训练 网络结构如下图： ..
图神经网络学习6
to222的博客
07-06 799
作业 请画出下方图片中的6号、3号和5号节点的从1层到3层到WL子树。 答案：
BiLSTM 实现股票多变量时间序列预测(PyTorch版)
最新发布
君子不器 大道无方
07-17 1153
在本文中，我们将探讨如何使用PyTorch框架实现基于双向长短期记忆网络（BiLSTM）的多变量时间序列预测模型。多变量时间序列预测涉及多个输入变量和一个或多个输出变量，这些变量随时间变化并可能相互影响。通过利用BiLSTM的双向特性，我们的模型将能够同时考虑历史数据和未来趋势，从而更准确地预测时间序列的未来值。
图神经网络 推荐算法
09-06
图神经网络（Graph Neural Networks，GNN）是一种近年来兴起的学科，被广泛应用于推荐算法中，并且取得了良好的效果。要理解基于图神经网络的推荐算法，首先需要对图神经网络本身有一定的了解。 图神经网络是一种在图结构数据上进行学习和推理的神经网络。与传统的神经网络主要关注于处理向量或矩阵数据不同，图神经网络通过考虑节点之间的关系和连接来处理图数据。它可以对节点和边进行特征建模，从而捕捉图中的结构和局部信息。 在推荐算法中，图神经网络可以利用用户之间的交互行为构建用户-物品图，在图中表示用户和物品之间的关系。通过学习图中的节点和边的特征表示，可以将用户的兴趣和物品的属性编码成向量形式，并使用这些向量进行推荐。 一种基于图神经网络的推荐算法是基于会话的推荐算法。该算法通过考虑用户的历史行为序列，构建会话图，其中节点表示用户在不同时间点的行为，边表示行为之间的关系。通过学习会话图中的节点和边的特征表示，可以预测用户的下一个行为并进行推荐。 参考文献[15]中提出了一种基于图神经网络的会话推荐算法。该算法利用图神经网络模型对会话图进行建模，并结合注意力机制来捕捉重要的上下文信息。实验证明，该算法在推荐效果上取得了显著的改进。 综上所述，图神经网络是一种用于推荐算法的新兴学科，通过建模图结构数据和学习节点和边的特征表示，可以实现更准确和个性化的推荐。而基于图神经网络的推荐算法中，会话推荐算法是一种常见的应用方式，通过对用户历史会话进行建模，提高了推荐算法的效果和准确性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [秒懂算法 | 基于图神经网络的推荐算法](https://blog.csdn.net/qq_41640218/article/details/129257309)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [一文了解推荐系统中的图神经网络](https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/119769201)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值