python 知识图谱demo_GitHub - QichenHuang/Knowledge-Graph-demo: 知识图谱的小demo

这是一个使用Python的Scrapy和Neo4j构建知识图谱的项目,涉及数据爬取、处理和入库。通过scrapy_entry.py爬取数据并存储在Redis,再由neo4j_nodes_edges.py导出到Neo4j,最后通过neo4j_import.bat导入数据库。项目中包含了公司、个人和管理关系的数据,但未处理公告信息,可能遇到缺少节点的错误和编码问题。
摘要由CSDN通过智能技术生成

知识图谱的小demo

这是一个试图实现知识图谱的“微项目”,从头到尾的工作包括,从网上爬取格式化的数据,简单的数据处理,将数据存入图数据库中。

关于知识图谱构建技术的相关知识详见附带的《知识图谱构建技术综述》

嫌麻烦不想看论文可以简单看看徐阿衡的博客 http://www.shuang0420.com/2017/09/05/项目实战-知识图谱初探/ 补充一下理论知识

环境及工具

Win10

python 3.6.5

scrapy

scrapy_redis

redis

neo4j

目录及文件

当前目录为scrapy项目的根目录内,记为{SCRAPY_ROOT}

{SCRAPY_ROOT}\

| medicine_company_list.txt 公司编号代码文件

| neo4j_import.bat 将处理后的data目录下的数据文件导入neo4j数据库中

| neo4j_nodes_edges.py 将redis服务器中的数据处理后输出data目录下的三个文件

| scrapy.cfg srapy的配置文件

| spiders_entry.py 开始爬取数据的入口

| urls.py 保存几个爬取网页的url

| Crawlers scrapy的项目目录

| | ···

| data 保存从redis导出后输出的数据文件

| | company_nodes.neo4j 公司结点的数据

| | person_nodes.neo4j 个人结点的数据

| | management_edges.neo4j 公司和个人之间管理关系的数据

| graph_demo.db 导入neo

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值