WL算法（来自graph-bert）

最新推荐文章于 2022-08-31 17:52:48 发布
最新推荐文章于 2022-08-31 17:52:48 发布
阅读量518 收藏 3
点赞数
文章标签： 深度学习 python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47163076/article/details/121559932
版权

在这里插入图片描述
node_list：
在这里插入图片描述

node_color_dict
在这里插入图片描述

node_neighbor_dict
在这里插入图片描述
self.max_iter ： 最大迭代次数

m0_47163076
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GNN：Weisfeiler-Lehman(WL)算法、WL-Test【GNN 的性能上界】
u013250861的博客
11-10 1169
《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》 参考资料： 【GNN】WL-test：GNN 的性能上界
什么是Weisfeiler-Lehman(WL)算法和WL Test？
SimonChen
09-04 1828
https://zhuanlan.zhihu.com/p/90645716
Weisfeiler-Lehman(WL)算法
热门推荐
qq_45312141的博客
06-16 1万+
Weisfeiler-Lehman 算法 Weisfeiler-Lehman(WL)算法The Weisfeiler-Lehman Test of IsomorphismThe General Weisfeiler-Lehman Kernels1.The Weisfeiler-Lehman Kernel Framework2.The Weisfeiler-Lehman Subtree Kernel多图上计算The Weisfeiler-Lehman Subtree KernelTHE RAMON-GARTN
Weisfeiler-Lehman(WL)算法和WL Test的学习笔记
weixin_45928096的博客
08-31 2777
1. 什么是Weisfeiler-Lehman(WL)算法 2. WL Test 3. Weisfeiler-Lehman算法与GCN的关系 4. Weisfeiler-Lehman算法应用 Weisfeiler-Lehman算法通常被用在解决图的相似性问题上 5. 举例说明①聚合邻居节点的标签得到一个标签的字符串，对字符串进行升序排列。 ②对字符串进行哈希处理，这里生成了一个一一映射的字典，这一步也可以使用其它的字符串哈希函数，只要保证**碰撞率**尽量小就可以。 ③将哈希过的值重新赋值给相应的节点...
带你读论文：WL算法到神经网络：high-order GNN
deep_revealer的博客
12-07 2426
论文：《Weisfeiler and Leman Go Neural: Higher-Order Graph Neural Networks》 发表于AAAI-2019 文章脉络： 1.证实了GNN在非同构图区分上并不比WL算法强，并且在某种特定情况下，GNN与WL算法具有同等效力，所以也具有相同的问题 2.从K-WL算法受到启发提出了K-GNN模型，从粗细粒度方面能够更好的提取信息 3.实验证实了文章提出的higher-order GNN对于图分类和图回归都十分重要 文章在介绍相关方法时主要分成了两部分
Graph-Bert:“ Graph-Bert”的源代码-Source code learning
03-25
“ Graph-Bert：学习图形表示只需要注意”的源代码。 请检查script.py作为入口点。 我们建议使用Pycharm运行代码。 可能需要几个工具箱来运行代码（1）pytorch（ ）（2）sklearn（ ）（3）转换器（ ）（4）...
Graph-Bert:Graph-Bert的源代码
05-23
图伯特 - Depending on your transformer toolkit versions, the transformer import code may need to be adjusted, like as follows: + from transformers....Graph-Bert：学习图形表示只需要注意 IFM实验室的
图割算法graph-cut
09-14
图割算法实现，直接可用，python实现，graph-cut，多幅图像同时处理
算法参考资料Graph-theoreticalgorithms
最新发布
04-15
算法参考资料Graph-theoretic algorithms提取方式是百度网盘分享地址
mini-graph-card:家居助手Lovelace UI的简约图形卡
04-29
Lovelace迷你图形卡用于 Lovelace UI... 抓取mini-graph-card-bundle.js ： $ wget https://github.com/kalkih/mini-graph-card/releases/download/v0.10.0/mini-graph-card-bundle.js添加如下所述的资源引用。添加资
LeetCode 1448. 统计二叉树中好节点的数目
weixin_41514525的博客
09-12 218
给你一棵根为root的二叉树，请你返回二叉树中好节点的数目。 「好节点」X 定义为：从根到该节点 X 所经过的节点中，没有任何节点的值大于 X 的值。 示例 1： 输入：root = [3,1,4,3,null,1,5] 输出：4 解释：图中蓝色节点为好节点。 根节点 (3) 永远是个好节点。 节点 4 -> (3,4) 是路径中的最大值。 节点 5 -> (3,4,5) 是路径中的最大值。 节点 3 -> (3,1,3) 是路径中的最大值。 1. 求根节点到当前结点的最大..
molecular-graph-bert（一）
weixin_52812620的博客
05-22 607
MG-BERT第一部分
Graph-Bert 代码理解①script_3_fine_tuning.py
weixin_40459958的博客
07-21 255
nclass = 7 nfeature = 1433 ngraph = 2708
Graph-Bert 代码理解⑥script_2_pre_train.py
weixin_40459958的博客
07-22 143
1 节点属性重构 MethodGraphBertNodeConstruct( (bert): MethodGraphBert( (embeddings): BertEmbeddings( (raw_feature_embeddings): Linear(in_features=1433, out_features=32, bias=True) (wl_role_embeddings): Embedding(100, 32) (inti_pos_embeddi
Graph-Bert：无所不能的Bert在图上也能发光发热？
beilizhang的博客
12-11 2100
主要参考论文：《GRAPH-BERT: Only Attention is Needed for Learning Graph Representations》 概述 传统的GCN模型往往存在假死问题（suspended animation problem）和过平滑问题（over-smoothing problem）而且过于依赖结点间的连边，不利于并行计算。针对以上问题，Graph-Bert摒弃了图卷积和邻居消息聚合操作，就像题目一样，完全只使用attention机制。 跟Bert一样，Graph-Bert
Graph-Bert 代码理解③code.MethodGraphBertNodeClassification.py
weixin_40459958的博客
07-21 237
考虑script_3_fine_tuning.py中setting_obj.load_run_save_evaluate() 定义MethodGraphBertNodeClassification类 learning_record_dict = {} lr = 0.001 weight_decay = 5e-4 max_epoch = 500 spy_tag = True load_pretrained_path = '' save_pretrained_path = '' 输入为GraphBertCo
Graph-Bert：没有我Attention解决不了的
zenRRan的博客
09-02 1173
作者| kaiyuan整理| NewBeeNLP最近要做一个图相关的项目，之前没怎么接触过图网络，就从头开始学习了一下，后面有时间也会整理分享。这里顺便推荐一下清华大学唐杰老师的一个...
GRAPH-BERT: Only Attention is Needed for Learning Graph Representations论文笔记
reallsp的博客
03-26 1065
GRAPH-BERT: Only Attention is Needed for Learning Graph Representations论文笔记 Motivation 当前图神经网络（GNN）的主要方法过度依赖图中的连接关系，这样造成了三大问题：（1）模型假死；（2）过度平滑；（3）难以并行计算 模型假死：随着神经网络层数的不断加深，模型对于输入的数据开始不进行相应。这个问题的具体原因没在论文里看到，个人理解是由于层之间的非线性变换使得数据分布变换置导数较小的区域，从而使得梯度消失。 过度平滑：由于
直接使用欧氏距离作为损失函数的缺陷
qq_45312141的博客
08-12 3157
直接使用欧氏距离作为损失函数的缺陷一 缺陷二 改进1、三元组损失（Triplet Loss）2、中心损失（Center Loss）三级目录1级标题2级标题3级标题四级标题五级标题六级标题 一 缺陷 如果我们直接以欧氏距离作为损失函数，模型的训练会出现这样的问题： 对于人脸来说，每一类就是一个人，然而每一类中会有很多个样本（一个人有很多照片），直接用欧氏距离相当于只考虑了类内距离，未考虑类间距离，...
Molecular-graph-BERT 代码实现
05-26
Molecular-graph-BERT 是一种基于图神经网络的化学分子表示方法，可用于分子性质预测、分子设计等应用。以下是 Molecular-graph-BERT 的代码实现。 1. 安装依赖 ```python !pip install torch !pip install dgl !pip install rdkit ``` 2. 数据预处理 ```python import dgl from rdkit import Chem from dgl.data.utils import load_graphs, save_graphs from dgl.data.chem.utils import smiles_to_bigraph, CanonicalAtomFeaturizer # 将 SMILES 序列转换为 DGLGraph def graph_from_smiles(smiles): mol = Chem.MolFromSmiles(smiles) return smiles_to_bigraph(smiles, atom_featurizer=CanonicalAtomFeaturizer()) # 读取数据，并将 SMILES 序列转换为 DGLGraph data = [] with open('data.txt', 'r') as f: for line in f: smiles, label = line.strip().split('\t') g = graph_from_smiles(smiles) label = int(label) data.append((g, label)) # 将 DGLGraph 序列化并保存为二进制文件 save_graphs('data.bin', data) ``` 3. 定义模型 ```python import torch import torch.nn as nn import dgl.function as fn # 定义 GraphConvLayer class GraphConvLayer(nn.Module): def __init__(self, in_feats, out_feats): super(GraphConvLayer, self).__init__() self.linear = nn.Linear(in_feats, out_feats) self.activation = nn.ReLU() def forward(self, g, features): with g.local_scope(): g.ndata['h'] = features g.update_all(fn.copy_u('h', 'm'), fn.sum('m', 'neigh')) h_neigh = g.ndata['neigh'] h = self.linear(features + h_neigh) h = self.activation(h) return h # 定义 MolecularGraphBERT 模型 class MolecularGraphBERT(nn.Module): def __init__(self, hidden_size, num_layers): super(MolecularGraphBERT, self).__init__() self.embed = nn.Embedding(100, hidden_size) self.layers = nn.ModuleList([GraphConvLayer(hidden_size, hidden_size) for _ in range(num_layers)]) self.pool = dgl.nn.pytorch.glob.max_pool def forward(self, g): h = self.embed(g.ndata['feat']) for layer in self.layers: h = layer(g, h) g.ndata['h'] = h hg = self.pool(g, g.ndata['h']) return hg ``` 4. 训练模型 ```python from torch.utils.data import DataLoader from dgl.data.utils import load_graphs # 加载数据 data, _ = load_graphs('data.bin') labels = torch.tensor([d[1] for d in data]) # 划分训练集和测试集 train_data, test_data = data[:80], data[80:] train_labels, test_labels = labels[:80], labels[80:] # 定义训练参数 lr = 0.01 num_epochs = 50 hidden_size = 128 num_layers = 3 # 定义模型和优化器 model = MolecularGraphBERT(hidden_size, num_layers) optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 训练模型 for epoch in range(num_epochs): model.train() for i, (g, label) in enumerate(train_data): pred = model(g) loss = nn.functional.binary_cross_entropy_with_logits(pred, label.unsqueeze(0).float()) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() with torch.no_grad(): train_acc = 0 for g, label in train_data: pred = model(g) train_acc += ((pred > 0).long() == label).sum().item() train_acc /= len(train_data) test_acc = 0 for g, label in test_data: pred = model(g) test_acc += ((pred > 0).long() == label).sum().item() test_acc /= len(test_data) print('Epoch {:d} | Train Acc {:.4f} | Test Acc {:.4f}'.format(epoch, train_acc, test_acc)) ``` 以上就是 Molecular-graph-BERT 的代码实现。需要注意的是，由于 Molecular-graph-BERT 是基于图神经网络的方法，需要使用 DGL 库来构建和操作图数据，因此需要先安装 DGL 库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值