Agriculture_KnowledgeGraph
demo:http://ecnukg.vicp.io
github:https://github.com/qq547276542/Agriculture_KnowledgeGraph
本文基于华东师范大学数据科学与工程学院构建的面向智慧农业的知识图谱及其应用系统,讲述了农业知识图谱搭建的过程和遇到的问题。
1.流程图
2.详细介绍
爬虫框架
程序中使用scrapy作为爬虫的框架,在scrapy中使用Item对象来保存爬取到的数据,只需将要保存的字段声明到Item类里;Spiders类定义了如何爬取某个网站;当Item在Spider中被收集之后,它将会被传递到Item Pipeline,在Pipeline中可以将爬取到的结果保存到数据库中。
数据获取
数据获取主要分为两部分内容,一部分是实体之间的关系,另一部分是实体的数据。实体存储在predict_lables.txt中,是由KNN算法预测的13W多个实体。实体之间的关系一部分在wikidata上爬取获得,另一部分通过互动百科页面中得到;实体的数