Atitit 知识图谱 知识抽取 信息抽取的总结艾提拉总结 目录 1. 知识抽取 1 2. 数据源主要来自两种渠道（ 2 2.1. 内部结构化数据vs 外部网页数据 2 3. 2. 知识图谱的数据来

Atitit 知识图谱 知识抽取 信息抽取的总结艾提拉总结

 

目录

1. 知识抽取 1

2. 数据源主要来自两种渠道（ 2

2.1. 内部结构化数据vs 外部网页数据 2

3. 2. 知识图谱的数据来源 1 3

3.1. a) 百科类数据 2 3

3.2. b) 结构化数据 3 3

3.3. c) 半结构化数据挖掘AVP (垂直站点爬虫) 3 3

3.4. d) 通过搜索日志(query record log)进行实体和实体属性等挖掘 4 3

4. 信息抽取的难点在于处理非结构化数据。 4

4.1. a. NER实体命名识别（Name Entity Recognition）   4

4.2. b. 关系抽取（Relation Extraction）     5

4.3. c. 实体统一（Entity Resolution）     5

4.4. d. 指代消解（Coreference Resolution）代词指向哪些实体 5

4.5. 实体统一和指代消解问题相对于前两个问题更具有挑战性。 8

5. NER关联技术 8

5.1. 分词 8

5.2. 词典匹配 8

5.3. 数字和特殊字符，一般用正则的方法匹配出来 8

5.4. 先边界识别 然后进行类别判定 8

5.5. 相关知识梳理（HMM, MEMM, CRF） 9

5.6. Bootstrapping算法 利用有限的样本资料 建立目标 9

6. NER公开数据集 9

6.1. CoNLL  CoNLL 2003 9

6.2. CoNLL2003中， 实体被标注为四种类型：LOC (location, 地名)ORG (organisation， 组织机构名)PER （person， 人名）MISC (miscellaneous， 其他) 10

6.3. OntoNotes 5.0 / CoNNLL 2012 18个类别 10

6.4. 其他公开数据集，包括NLPBA2014， Enron Emails 等等 10

7. NER 标注方法有很多种， 这里主要介绍3种最常见。 11

7.1. IOB 标注法 11

7.2. BIOES BIOES 是目前最通用的命名实体标注方法。 11

7.3. Makeup 是 OntoNotes 使用的标注方法， 思路比较简单, XML， 比如： 11

8. 问题 12

9. Ref 12