KG-embedding transR/transE OpenKE python实现

最新推荐文章于 2023-05-31 19:19:53 发布
最新推荐文章于 2023-05-31 19:19:53 发布
阅读量678 收藏 7
点赞数 10
文章标签： python 深度学习 人工智能 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21366993/article/details/129779678
版权

要用一下transR的python代码实现，想在网上找一下源码，下面记录一下过程。

试过pykg2vec和pykeen这两个第三方库，但是本人小白，感觉用不来这两个工具，而且网上的技术文档也不多，可能适合有一定深度学习代码经验的人来用。目前选择了openKE这个开源工具包。下面是这个openke的官网和github地址。

http://nlp.csai.tsinghua.edu.cn/project/openke/

https://github.com/thunlp/OpenKE

OpenKE是THUNLP基于TensorFlow、PyTorch开发的用于将知识图谱嵌入到低维连续向量空间进行表示的开源框架。OpenKE提供了快速且稳定的各类接口，也实现了诸多经典的知识表示学习模型。

对于我来说，openKE不仅提供了transR模型的代码，更重要的是它提供了各种模型训练过程的实例，对于DL小白来说，手写训练过程还是有点困难的。

然后我的环境是：win10、python==3.7、tensorflow==2.4.0、torch==1.13.1+cull7(GPU版)、numpy==1.19.5、显卡Geforce GTX 1080、cuda==11.7.101

在我这个环境下，使用这个代码需要修改一下：

trainDataLoader.py,line105-108：把int64位换成32位

testDataLoader.py,line70：同样把64位换成32位

不改的话会报错IndexError: index out of range in self。因为openKE是调用了C++的.so接口，应该是底层的数据存储不一致导致的。我调试的时候分别打印了python端和C++端的变量地址和二进制码

再有就是根据自己的显存大小需要调整batchSize和threadsNum，不然可能会报错out of memory

整体来说这个代码对于小白很友好，不需要做太多调整。

Uranus-。
关注
  • 10
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
pykeen：:robot_face:一个用于学习和评估知识图嵌入的Python库
02-25
皮肯 PyKEEN（P ythonķnowlËDGEËmbeddiÑGS）是一个Python包设计成列车和评价知识图形嵌入模型（包含多模态信息）。 ••••• 安装 可以通过以下方式从下载并安装PyKEEN的最新稳定版本： $ pip install pykeen 最新版本的PyKEEN可以直接从的源代码安装，方法如下： pip install git+https://github.com/pykeen/pykeen.git 可以在找到有关安装的更多信息（例如，开发模式，Windows安装，其他功能）。 快速开始 本示例说明如何在数据集上训练模型并在另一个数据集上进行测试。 最快的启动和运行方式是使用管道功能。 它提供了该程序包可扩展功能的高级入门。 以下示例显示了如何在数据集上训练和评估模型。 默认情况下，训练循环使用训练方法，并使用。 from pykeen . p
Learning Entity and Relation Embeddings for Knowledge Graph Completion翻译笔记（学习实体和关系嵌入以完成知识图谱）
最新发布
weixin_56242678的博客
04-17 1971
Learning Entity and Relation Embeddings for Knowledge Graph Completion翻译笔记（学习实体和关系嵌入以完成知识图谱）
知识表示学习Trans系列梳理(论文+代码)
zenRRan的博客
05-29 4618
来自：AI自然语言处理与知识图谱知识表示学习Trans系列梳理导语：本文将简短梳理知识表示学习Trans系列方法，包含TransE、TransH、TransR、TransD、TransA...
知识图谱嵌入表示实战——基于TransE、Pytorch的知识图谱嵌入项目（源代码和运行实例）
weixin_45440484的博客
05-31 6575
知识图谱常用的嵌入方法主要有TransE、TransH、TransR、RESCAL、DistMult、ComplEx、RotatE、SimplE和TuckER等。项目步骤：1. 定义DBPDataset类表示数据集,重写__getitem__方法返回三元组。 2. 定义KGEmb模型表示知识图谱Embedding,包含实体与关系Embedding层。 3. 构建DataLoader加载数据集,定义优化器与TransE损失函数进行训练。 4. 训练结束后,ent_emb与rel_emb分别为实体与关系Embe
TransR的实体链接代码解析
qqywm的博客
02-16 1584
TransR: 实体和关系分开嵌入（Learning Entity and Relation Embeddings for Knowledge Graph Completion） 问题：一个实体是多种属性的综合体，不同关系关注实体的不同属性。直觉上一些相似的实体在实体空间中应该彼此靠近，但是同样地，在一些特定的不同的方面在对应的关系空间中应该彼此远离。 方案：将实体和关系嵌入到不同的空间中，在对...
小黑demo:TransR
qq_37418807的博客
02-05 1840
import torch import torch.nn as nn import torch.nn.functional as F class TransR(nn.Module): def __init__(self,ent_tot,rel_tot,dim_e = 100,dim_r = 100,p_norm = 1,norm_flag = True,rand_init = False,margin = None): super(TransR,self).__init__() ..
学习笔记——pytorch1.9.0官方文档快速入门（三）
面包猎人
07-26 369
目录参考笔记链接transforms介绍ToTensor()Lambda Transforms 参考 官方文档——Transforms转换 运行环境：google colab 笔记链接 学习笔记——pytorch1.9.0官方文档快速入门（一） 学习笔记——pytorch1.9.0官方文档快速入门（二） 学习笔记——pytorch1.9.0官方文档快速入门（三） 学习笔记——pytorch1.9.0官方文档快速入门（四） 学习笔记——pytorch1.9.0官方文档快速入门（五） 学习笔记——pytorc
entity-embedding-rossmann-master_python_
10-03
Python是实现这一技术的主要编程语言，因为其拥有丰富的数据处理和机器学习库。 首先，让我们详细了解一下entity embedding。在传统的分类变量处理中，类别数据通常通过one-hot编码转换为稀疏矩阵，但这可能导致...
2.word-embedding.rar_数值算法/人工智能_Python__数值算法/人工智能_Python_
08-09
提供的`2.word-embedding.ipynb`笔记本文件很可能是演示如何使用Python和PyTorch实现词嵌入模型的实例，涵盖了数据预处理、模型构建、训练过程以及结果评估等环节。通过这个资源，你可以深入理解词嵌入的原理，并...
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s
05-28
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s。包含使用方法和训练方法。
KB2E：知识图嵌入，包括TransE，TransH，TransR和PTransE
02-19
该项目将不再维护，建议用户访问和使用新软件包 。
trans系列源码cpp
09-23
trans系列源码cpp
Python-用pytorch实现了几种知识图谱表示算法
08-11
该项目整理了知识图谱表示常用的四个数据集，提供了数据清洗整理的代码，用 PyTorch 实现了四种基于平移的算法。在评估阶段，使用了多进程加速，将 MeanRank 和 Hits@10 的评估时间压缩到小于 1 分钟。
TransE系列源码
12-29
TranE是一篇Bordes等人2013年发表在NIPS上的文章提出的算法。它的提出，是为了解决多关系数据（multi-relational data）的处理问题。我们现在有很多很多的知识库数据knowledge bases (KBs)，比如Freebase、 Google Knowledge Graph 、 GeneOntology等等。 TransE的直观含义，就是TransE基于实体和关系的分布式向量表示，将每个三元组实例（head，relation，tail）中的关系relation看做从实体head到实体tail的翻译（其实我一直很纳闷为什么叫做translating，其实就是向量相加），通过不断调整h、r和t（head、relation和tail的向量），使（h + r） 尽可能与 t 相等，即 h + r = t。 以前有很多种训练三元组的方法，但是参数过多，以至于模型过于复杂难以理解（作者表达的意思就是，我们的工作效果和你们一样，但我们的简单易扩展）。（ps：作者以前也做过类似的工作，叫做Structured Embeddings，简称SE，只是将实体转为向量，关系是一个矩阵，利用矩阵的不可逆性反映关系的不可逆性。距离表达公式是1-norm）。
In-Situ_De-embedding.pdf
10-09
In-Situ_De-embedding
Python-商品推荐算法-词向量计算-embedding
06-05
嵌入（embedding）在商品推荐算法中的作用是将商品或用户表示为低维度的向量空间中的向量。通过使用嵌入，可以将高维的商品或用户特征映射到一个连续、稠密且语义相关的向量表示，从而捕捉到商品或用户之间的相似性...
OpenKE-TransE代码阅读
qq_44960910的博客
09-08 897
OpenKE-TransE代码阅读
Java版本TransR代码的学习
woshiwu6666的博客
01-13 209
主要讲和TransE,TransH代码的区别，前两篇文章的链接初始化向量与前两种方法不同的是，relation和entity的向量长度（dimension）不是统一的。而引入了一个Mr的矩阵，将entity映射到relation的平面中代码中的Wr表示的就是Mr矩阵。
关于知识图谱的trans系列三：transR
weixin_41946661的博客
06-27 7257
论文题目：Learning Entity and Relation Embeddings for Knowledge Graph Completion 论文链接：https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9571 abstract：In fact, an entity may have multiple aspects an...
CNN-LSTM-BiGRU分类模型实现Python代码
02-17
下面是一个简单的Python代码示例，用于实现CNN-LSTM-BiGRU分类模型： ```python import tensorflow as tf from tensorflow.keras.layers import Embedding, Conv1D, LSTM, Bidirectional, Dense # 定义模型 class ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值