信息抽取技术主要用于抽取:
-
抽取实体:比如人,地名,时间这些一般的常见的实体,再比如在一些垂直领域,需要提取医疗领域,金融领域,教育领域等方面的实体。
-
抽取关系:提取的是实体与实体间的关系。
信息抽取应用场景:
比如我们有以上一段话,需要进行实体抽取,以及实体间的关系抽取,接下来需要把这些信息整合成知识图谱的形式。
更多应用:
- 知识库的搭建
- Google Scholar
- 用户库: Rapleaf, Spoke…
- 购物引擎,产品搜索
- 专利分析
- 证券分析
- 问答系统
关键:把非结构化的数据转为化结构化的数据
实体抽取的开源工具:Stanford Parser, NLTK, Spacy, foolNLTK, HanNLP
命名实体识别方法:
- 利用规则(正则表达式)
- 利用分类模型(不考虑时序)
生成模型:朴素贝叶斯…
判别模型:逻辑回归,SVM… - 时序模型
HMM,C