ownthink_kg 1.4亿数据快速导入Neo4j

最新推荐文章于 2024-06-06 22:01:23 发布
最新推荐文章于 2024-06-06 22:01:23 发布
阅读量3.9k 收藏 19
点赞数 1
分类专栏： neo4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muruibin88/article/details/106475757
版权

１、环境

Version:3.5.8
Edition:Community

２、数据来源 

　http://www.openkg.cn/dataset/e5a5f1fb-505a-4ccc-bac5-4eb9856b667e

   https://www.ownthink.com/docs/kg/#_1

  下载到ownthink_v2.csv文件，包含1.4亿数据

wc -l ownthink_v2.csv
#140919781 ownthink_v2.csv

 ownthink_v2.csv 前20行如下

实体,属性,值
胶饴,描述,别名: 饴糖、畅糖、畅、软糖。
词条,描述,词条（拼音：cí tiáo）也叫词目，是辞书学用语，指收列的词语及其释文。
词条,标签,文化
红色食品,描述,红色食品是指食品为红色、橙红色或棕红色的食品。
红色食品,中文名,红色食品
红色食品,是否含防腐剂,否
红色食品,主要食用功效,预防感冒，缓解疲劳
红色食品,适宜人群,全部人群
红色食品,用途,增强表皮细胞再生和防止皮肤衰老
红色食品,标签,非科学
红色食品,标签,生活
大龙湫,描述,雁荡山景区分散，东起羊角洞，西至锯板岭；南起筋竹溪，北至六坪山。
大龙湫,中文名称,大龙湫
大龙湫,外文名称,big dragon autrum
大龙湫,地理位置,浙江省温州市雁荡山景区
大龙湫,开放时间,08:00~18:00
大龙湫,门票价格,50元
大龙湫,著名景点,芙蓉峰
大龙湫,著名景点,剪刀峰

 

 3、数据清洗

 3.1 下载工具 rdf-converter

        https://github.com/jievince/rdf-converter,按照说明运行，生成edge.csv和vertex.csv两个文件

vertex.csv 格式如下：

-201035082963479683,实体
-1779678833482502384,值
4646408208538057683,胶饴
-1861609733419239066,别名: 饴糖、畅糖、畅、软糖。
-2047289935702608120,词条
5842706712819643509,词条（拼音：cí tiáo）也叫词目，是辞书学用语，指收列的词语及其释文。
-3063129772935425027,文化
-2484942249444426630,红色食品
-3877061284769534378,红色食品是指食品为红色、橙红色或棕红色的食品。
-3402450096279275143,否
4786182067583989997,预防感冒，缓解疲劳
-8978611301755314833,全部人群
-382812815618074210,增强表皮细胞再生和防止皮肤衰老
3455734391170888430,非科学
-4368442157131186527,生活
-4016848910133347272,大龙湫
-1751058806841876591,雁荡山景区分散，东起羊角洞，西至锯板岭；南起筋竹溪，北至六坪山。
-4369745808943528904,big dragon autrum
-3278556255913778158,浙江省温州市雁荡山景区
-1081363081064284954,08:00~18:00

edge.csv 格式如下：

-201035082963479683,-1779678833482502384,属性
4646408208538057683,-1861609733419239066,描述
-2047289935702608120,5842706712819643509,描述
-2047289935702608120,-3063129772935425027,标签
-2484942249444426630,-3877061284769534378,描述
-2484942249444426630,-2484942249444426630,中文名
-2484942249444426630,-3402450096279275143,是否含防腐剂
-2484942249444426630,4786182067583989997,主要食用功效
-2484942249444426630,-8978611301755314833,适宜人群
-2484942249444426630,-382812815618074210,用途
-2484942249444426630,3455734391170888430,标签
-2484942249444426630,-4368442157131186527,标签
-4016848910133347272,-1751058806841876591,描述
-4016848910133347272,-4016848910133347272,中文名称
-4016848910133347272,-4369745808943528904,外文名称
-4016848910133347272,-3278556255913778158,地理位置
-4016848910133347272,-1081363081064284954,开放时间
-4016848910133347272,3797530799472559859,门票价格
-4016848910133347272,6249183780323029504,著名景点
-4016848910133347272,6601364230245153029,著名景点

当前格式并不能直接导入neo4j，必须处理成相应的格式。

3.2 将节点和关系处理成neo4j格式 

 

def prep_vertex_all():
    ferror = open("kg/kg-clean/err_vertex.csv",'r')
    frname = "kg/kg-clean/vertex.csv"
    fwname = "kg/kg-clean/vertex_output_vertex_all.csv"
    with open(frname, 'r') as fr:
        with open(fwname, 'w') as fw:
            fw.write("{},{},{}\n".format(":ID", "name", ":LABEL"))
            for line in fr:
                try:
                    # print(line.strip())
                    line = line.strip()
                    if not line:
                        continue
                    spo = line.split(",")
                    # print(spo)
                    fw.write("{},{},{}\n".format(spo[0], spo[1].replace('"',''), "ENTITY"))
                except:
                    ferror.write("{}\n".format(line))
                    continue

def prep_edge_all():
    ferror = open("kg/kg-clean/err_edge.csv",'r')
    frname = "kg/kg-clean/edge.csv"
    fwname = "kg/kg-clean/edge_output_all.csv"
    print(frname)
    print(fwname)
    with open(frname, 'r') as fr:
        with open(fwname, 'w') as fw:
            fw.write("{},{},{},{}\n".format(":START_ID", "name", ":END_ID", ":TYPE"))
            for line in fr:
                try:
                    # print(line.strip())
                    line = line.strip()
                    if not line:
                        continue
                    spo = line.split(",")
                    # print(spo)
                    fw.write("{},{},{},{}\n".format(spo[0], spo[2].replace('"', ''), spo[1], "RELATIONSHIP"))
                except:
                    ferror.write("{}\n".format(line))
                    continue


if __name__ == '__main__':
    prep_vertex_all()
    prep_edge_all()

运行上边的代码会生成edge_output_all.csv和vertex_output_all.csv 两个文件，满足neo4j import的导入格式。

vertex_output_all.csv 

:ID,name,:LABEL
-201035082963479683,实体,ENTITY
-1779678833482502384,值,ENTITY
4646408208538057683,胶饴,ENTITY
-1861609733419239066,别名: 饴糖、畅糖、畅、软糖。,ENTITY
-2047289935702608120,词条,ENTITY
5842706712819643509,词条（拼音：cí tiáo）也叫词目，是辞书学用语，指收列的词语及其释文。,ENTITY
-3063129772935425027,文化,ENTITY
-2484942249444426630,红色食品,ENTITY
-3877061284769534378,红色食品是指食品为红色、橙红色或棕红色的食品。,ENTITY
-3402450096279275143,否,ENTITY
4786182067583989997,预防感冒，缓解疲劳,ENTITY
-8978611301755314833,全部人群,ENTITY
-382812815618074210,增强表皮细胞再生和防止皮肤衰老,ENTITY
3455734391170888430,非科学,ENTITY
-4368442157131186527,生活,ENTITY
-4016848910133347272,大龙湫,ENTITY
-1751058806841876591,雁荡山景区分散，东起羊角洞，西至锯板岭；南起筋竹溪，北至六坪山。,ENTITY
-4369745808943528904,big dragon autrum,ENTITY
-3278556255913778158,浙江省温州市雁荡山景区,ENTITY

 edge_output_all.csv格式如下：

:START_ID,name,:END_ID,:TYPE
-201035082963479683,属性,-1779678833482502384,RELATIONSHIP
4646408208538057683,描述,-1861609733419239066,RELATIONSHIP
-2047289935702608120,描述,5842706712819643509,RELATIONSHIP
-2047289935702608120,标签,-3063129772935425027,RELATIONSHIP
-2484942249444426630,描述,-3877061284769534378,RELATIONSHIP
-2484942249444426630,中文名,-2484942249444426630,RELATIONSHIP
-2484942249444426630,是否含防腐剂,-3402450096279275143,RELATIONSHIP
-2484942249444426630,主要食用功效,4786182067583989997,RELATIONSHIP
-2484942249444426630,适宜人群,-8978611301755314833,RELATIONSHIP
-2484942249444426630,用途,-382812815618074210,RELATIONSHIP
-2484942249444426630,标签,3455734391170888430,RELATIONSHIP
-2484942249444426630,标签,-4368442157131186527,RELATIONSHIP
-4016848910133347272,描述,-1751058806841876591,RELATIONSHIP
-4016848910133347272,中文名称,-4016848910133347272,RELATIONSHIP
-4016848910133347272,外文名称,-4369745808943528904,RELATIONSHIP
-4016848910133347272,地理位置,-3278556255913778158,RELATIONSHIP
-4016848910133347272,开放时间,-1081363081064284954,RELATIONSHIP
-4016848910133347272,门票价格,3797530799472559859,RELATIONSHIP
-4016848910133347272,著名景点,6249183780323029504,RELATIONSHIP

4、数据导入neo4j

bin/neo4j-admin import --database=graph-all.db --mode=csv --nodes  /ownthink_data/vertex_output_all.csv --relationships /ownthink_data/edge_output_all.csv --ignore-duplicate-nodes=true --ignore-missing-nodes=true --id-type=string

如果没有报错：将出现如下界面，导入需要20分钟左右：

 如上，导入成功。

５、需要重启服务

 5.1 数据库替换　

现在databases下边有两个db, graph.db(默认使用)和graph-all.db(导入数据新生成)，用graph-all.db覆盖graph.db，并且修改权限为777。

 执行代码

rm -r graph.db
mv graph-all.db graph.db
chmod -R 777 graph.db

5.2 重启服务

浏览器登录显示如下：

成功导入。

６、优化

　上边的关系类型都是RELATIONSHIP，浏览器页面没法区分其关系。

　可以更改edge_output_all.csv的格式，生成代码如下：

def prep_edge_all():
    ferror = open("kg/kg-clean/err_edge.csv",'r')
    frname = "kg/kg-clean/edge.csv"
    fwname = "kg/kg-clean/edge_output_all.csv"
    print(frname)
    print(fwname)
    with open(frname, 'r') as fr:
        with open(fwname, 'w') as fw:
            fw.write("{},{},{},{}\n".format(":START_ID", "name", ":END_ID", ":TYPE"))
            for line in fr:
                try:
                    # print(line.strip())
                    line = line.strip()
                    if not line:
                        continue
                    spo = line.split(",")
                    # 更改这行
                    fw.write("{},{},{},{}\n".format(spo[0], spo[2].replace('"', ''), spo[1], spo[2]))
                except:
                    ferror.write("{}\n".format(line))
                    continue


if __name__ == '__main__':
    prep_edge_all()

修改后的edge_output_all.csv的格式如下

:START_ID,name,:END_ID,:TYPE
-201035082963479683,属性,-1779678833482502384,属性
4646408208538057683,描述,-1861609733419239066,描述
-2047289935702608120,描述,5842706712819643509,描述
-2047289935702608120,标签,-3063129772935425027,标签
-2484942249444426630,描述,-3877061284769534378,描述
-2484942249444426630,中文名,-2484942249444426630,中文名
-2484942249444426630,是否含防腐剂,-3402450096279275143,是否含防腐剂
-2484942249444426630,主要食用功效,4786182067583989997,主要食用功效
-2484942249444426630,适宜人群,-8978611301755314833,适宜人群
-2484942249444426630,用途,-382812815618074210,用途
-2484942249444426630,标签,3455734391170888430,标签
-2484942249444426630,标签,-4368442157131186527,标签
-4016848910133347272,描述,-1751058806841876591,描述
-4016848910133347272,中文名称,-4016848910133347272,中文名称
-4016848910133347272,外文名称,-4369745808943528904,外文名称
-4016848910133347272,地理位置,-3278556255913778158,地理位置
-4016848910133347272,开放时间,-1081363081064284954,开放时间
-4016848910133347272,门票价格,3797530799472559859,门票价格
-4016848910133347272,著名景点,6249183780323029504,著名景点

 重复４－５工作即可。

 

参考文献资料

  1. 通用知识图谱（ownthink）
  2. 使用图数据库 Nebula Graph 数据导入快速体验知识图谱 OwnThink
  3. Neo4j导入思知OwnThink开源的知识图谱
seek_dreamer
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
python 知识图谱数据库_使用图数据库 Nebula Graph 数据导入快速体验知识图谱 OwnThink...
weixin_39687667的博客
12-18 1727
前言本文由 Nebula Graph 实习生@王杰贡献。本文介绍如何将这份数据快速导入图数据库 Nebula Graph，全过程大约需要 30 分钟。中文知识图谱 OwnThink 简介思知(OwnThink)知识图谱是由 Google 在 2012 年提出来的一个概念。主要是用来描述真实世界中存在的各种实体和概念，以及他们之间的关系。在搜索引擎、问答机器人、知识抽取等多个领域有着诸多应用。最近...
将www.ownthink.com的知识图数据导入neo4j
点点的博客
10-24 2493
一、首先 进入https://www.ownthink.com/进入官网，然后需要关注微信公众号拿到数据、但是我关注了，分享一下。 通用知识 1.4亿知识图谱数据拿走不谢 链接: https://pan.baidu.com/s/1LZjs9Dsta0yD9NH-1y0sAw 提取码: 3hpp 解压密码：https://www.ownthink.com/ 旧版本：链接: https://pan.b...
使用 Neo4j 和 Langchain 进行知识图谱创建：详细指南
weixin_58753619的博客
06-06 1967
知识图谱是组织和整合信息的强大工具。它们提供了一种以实体为节点、以关系为边的结构化表示知识的方式。这种结构化表示允许进行高效的查询、分析和推理，使知识图谱在各种应用中非常有价值，从搜索引擎和推荐系统到自然语言处理和人工智能。在人工智能领域，例如，知识图谱可以通过提供额外的上下文信息来增强机器学习模型的性能。它们可以帮助改善对自然语言的理解，通过映射不同单词或短语之间的关系。此外，它们可以通过提供丰富的结构化信息源来帮助创建更具交互性和智能的人工智能系统。以电影数据库为例。
Nebula Graph 如何快速导入OwnThink知识图谱数据
penriver的博客
04-08 1642
随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会织起了了一张庞大而复杂的关系网，亟需一种支持海量复杂数据关系运算的数据库即图数据库。本系列文章是学习知识图谱以及图数据库相关的知识梳理与总结 本文会包含如下内容： Nebula Graph 如何快速导入OwnThink知识图谱数据 本篇文章适合人群：架构师、技术专家、对知识图谱与图数据库感兴趣的高级工程师 ...
woocommerce 导入csv格式_Neo4j导入思知OwnThink开源的知识图谱
weixin_39599317的博客
12-05 278
在个人博客也有，搬运到知乎一下。http://www.junphy.com/wordpress/index.php/2020/03/16/import-ownthink-to-neo4j/环境：1.Neo4j database: 4.0.1 （是Neo4j graph数据库版本，非 neo4j desktop版本）2.jdk11 (neo4j 4.0.1要求jdk需要11)OwnThink开源了史...
记录开源知识图谱ownthink导入过程
weixin_39105498的博客
09-24 1629
记录开源知识图谱ownthink导入过程 一、下载数据为了速度快从百度网盘下载 链接：https://pan.baidu.com/s/1AHNPnkygn2SnFHdxT7h5cQ 提取码：wlds 二、使用脚本清洗拆分数据 脚本地址 链接：https://pan.baidu.com/s/1aqreMe3zEa_tFAq7PIaU1g 提取码：wlds 脚本说明： step_mapper.py 拆分原始数据到两个文件夹中 step_reduce.py和step_reduc
大规模1.4亿中文知识图谱数据ownthink开源了
chaishen10000的专栏
10-27 3205
项目地址：https://github.com/ownthink/KnowledgeGraphData 本次ownthink开源了史上最大规模的中文知识图谱，数据是以（实体、属性、值），（实体、关系、实体）混合的形式组织，数据格式采用csv格式，下载链接见文末。 解压后查看知识图谱规模： $ wc -l ownthink_v2.csv 140919781 ownthink_v2.csv 查看知识图谱数据： $ head ownthink_v2.csv 实体,属性,值 胶饴,描述,别名:
Neo4j大量CSV数据导入测试数据_rezip1.zip
最新发布
07-14
在这个场景下，"Neo4j大量CSV数据导入测试数据"指的是使用Neo4j来导入大量以CSV格式存储的测试数据，以便对系统进行性能验证、功能测试或模拟真实世界的数据情况。 批量导入CSV数据到Neo4j，通常涉及以下步骤： 1....
neo4j_community_4.4.2_windows.zip 下载可用，社区版本的
03-28
4. **高性能**：Neo4j 采用内存映射技术，能够快速读取和写入大量数据，提供高性能的查询能力。 5. **社区支持**：作为开源项目，Neo4j 社区版有广泛的开发者支持和活跃的论坛，用户可以在这里获取帮助、分享经验和...
neo4j-community_windows-x64_3_1_3 .exe
07-06
neo4j数据库
DataImportNeo4j:使用 node.js 将数据导入 Neo4j
06-15
sudo npm install neo4j@1.x --save 如果在安装后输入以下内容，则会将数据输入到以 localhost:7474 运行的 neo4j 中。 node importData_neo4j.js 需要注意的事项（当然）是必须在程序运行之前。 当您运行该程序时...
KnowledgeGraphData：史上最大规模14亿中文知识图谱开源下载
02-24
史上最大规模1.4亿中文知识图谱开源下载 知识就是力量，知识图谱是人工智能新时代的产物，简单地说知识图谱就是通过关联关系将知识组成网状的结构，然后我们的人工智能可以通过这个图谱来认识其代表的这一个现实事件，这个事件可以是现实，也可以是虚构的。 知识图谱可以应用于机器人问答系统，知识推荐等等，下图为知识图谱在机器人上的应用。 本次ownthink开源了史上最大规模的中文知识图谱，数据以（实体，属性，值），（实体，关系，实体）混合的形式组织，数据格式采用csv格式，下载链接见文末。 解压后查看知识图谱规模： $ wc -l ownthink_v2.csv 140919781 ownthink_v2.csv 查看知识图谱数据： $ head ownthink_v2.csv 实体,属性,值 胶饴,描述,别名: 饴糖、畅糖、畅、软糖。 词条,描述,词条（拼音：cí tiáo）也叫词目，是辞书学用
neo4j-community-4.4.25-windows
09-15
2. `neo4j-fulltext-index-4.4.25.jar`：包含了Neo4j的全文索引功能，支持对数据库中的文本数据进行快速检索。 3. `javax.servlet-api-3.1.0.jar`：这是一个Servlet API的库，可能用于搭建 Neo4j 的HTTP服务端点，...
探索知识图谱数据的魅力：ownthink/KnowledgeGraphData
gitblog_00084的博客
03-21 310
探索知识图谱数据的魅力：ownthink/KnowledgeGraphData 项目地址:https://gitcode.com/ownthink/KnowledgeGraphData 在信息爆炸的时代，如何高效地理解和利用知识成为了我们日常面临的挑战。而ownthink/KnowledgeGraphData项目提供了一个强大的解决方案——一个开源的知识图谱数据集，为科研、教育和应用开发提供了丰富...
开源通用中文知识图谱导入Neo4j
haiziccc的专栏
11-21 2529
前段时间思知发布了有史以来最为全面的中文知识图谱数据集（详见https://www.ownthink.com/、https://github.com/ownthink/KnowledgeGraphData），下载地址如下： 百度网盘（链接: https://pan.baidu.com/s/1LZjs9Dsta0yD9NH-1y0sAw 提取码: 3hpp ） 注：解压密码是：https://w...
知识图谱问答系列文档（二）——从零开始搭建一个通用知识图谱问答【数据预处理】
华理小波哥
08-18 1986
本文将介绍如何从零开始搭建知识图谱问答
探索语义理解新境界： Ownthink Semantic
gitblog_00085的博客
03-29 279
探索语义理解新境界： Ownthink Semantic 项目地址:https://gitcode.com/ownthink/Semantic Ownthink Semantic 是一个开源的语义理解和自然语言处理工具包，致力于为开发者提供强大的文本分析能力。该项目基于深度学习模型，旨在帮助开发者轻松地实现复杂语义解析任务，从而在诸如聊天机器人、情感分析、问答系统等领域发挥重要作用。 技术分析 O...
史上最大规模1.4亿中文知识图谱开源下载
大邓和他的Python
11-29 1159
知识就是力量，知识图谱是人工智能新时代的产物，简单地说知识图谱就是通过关联关系将知识组成网状的结构，然后我们的人工智能可以通过这个图谱来认识其代表的这一个现实事件，这个事件可以是现实，也...
neo4j-入门---学习复杂关系使用CQL语句操作图数据库(二)
fight_man8866的博客
02-14 672
1:创建标签 CREATE (TheMatrix:Movie {title:‘The Matrix’, released:1999, tagline:‘Welcome to the Real World’}) 2:创建节点: CREATE (Keanu:Person {name:‘Keanu Reeves’, born:1964}) CREATE (Carrie:Person {name:‘Car...
使用neo4j-import 工具进行大批量数据快速导入neo4j数据库中的具体过程。
05-31
使用neo4j-import工具进行大批量数据快速导入neo4j数据库中的具体过程如下： 1. 准备数据：将要导入的数据准备好，通常以CSV文件的形式存储。CSV文件中应该包含节点和关系的信息，每一行表示一个节点或关系。 2. 配置文件：创建一个配置文件，指定要导入的数据文件的路径，以及节点和关系的标签和属性等信息。配置文件通常是一个.properties文件。 3. 执行导入命令：使用终端或命令行工具，执行neo4j-import命令，指定配置文件的路径和要导入的数据文件的路径。例如： ``` ./neo4j-import --into target/graph.db --nodes:Person /path/to/nodes.csv --relationships:KNOWS /path/to/relationships.csv ``` 其中，--into选项指定要导入的数据库路径，--nodes选项指定节点的标签和数据文件的路径，--relationships选项指定关系的类型和数据文件的路径。 4. 等待导入完成：执行导入命令后，工具会自动创建节点和关系，并将它们写入数据库中。导入的时间取决于数据的规模和硬件性能。在导入过程中，可以使用neo4j-admin工具查看进度和性能指标。 需要注意的是，使用neo4j-import工具导入数据时，必须先关闭Neo4j数据库。此外，在导入过程中还需要考虑数据的完整性和一致性，避免导入错误或重复的数据。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值