mysql索引优化知识图谱_知识图谱路线以及相关算法

1 爬虫

爬虫的作用是获取数据，我们的数据一般是来自于网络，并且经过一定的方式处理，爬虫分为url管理器，html下载器，html解析器，数据存储器和爬虫调度器，通过爬虫获得结构化数据和非结构化数据

1.1 urllib

爬虫的模块，用于获得网站的响应

1.2 BeautifulSoup

爬虫的模块，用于获得网站中相应的内容

1.3 正则化

使用re.compile函数来获得网页中的内容，并且返回数据

2 实体抽取

2.1 分词

目前常用的为jieba分词，另外记录下另一个分词库：pkuseg

2.2 pos

词语的情感标签，总数量不固定，看个人需要

2.3 embedding

对数据进行向量化的过程，目前使用多的为tfidf，word2vec

2.4 算法记录

lstm+crf

规则+crf

bert-bilstm-crf

3 关系抽取

3.1 算法记录

cnn

biLSTM+CRF

BiGRU+2ATT

4 存储

4.1 图数据库

包括neo4j在内，是一种可以存储图形数据的数据库，内部可以查到相关语句。

4.2 rdf

rdf是一种语言，专门用于三元组，搭配上数据库fuseki，可以达到对数据的较好处理。

5 可视化

5.1 neo4j

neo4j是一种图数据库，可以直接导入csv形式的数据，然后采取图的形式进行表达

5.2 d3.js

是一种可以在前端表现出知识图谱可视化的语言，是知识图谱表现的选择