NER解决方案——词典匹配

概述

NER全称是命名实体识别（Named Entity Recognition, NER），旨在识别文本中专有名词，如位置、组织和时间。

举例：

输入：小明在北京大学的燕园看了中国男篮的一场比赛

输出：B-PER，E-PER，O, B-ORG，I-ORG，I-ORG，E-ORG，O，B-LOC，E-LOC，O，O，B-ORG，I-ORG，I-ORG，E-ORG，O，O，O，O

其中，“小明 ”以PER，“北京大学”以ORG，“燕园”以LOC，“中国男篮”以ORG为实体类别分别挑了出来。

标注方法：

序列标注：

1.BIO：标识实体的开始、中间和非实体部分

2.BMES：增加S单个实体情况的标注

3.BIOES：增加E实体的结束标识

指针标注：

1.单指针（二维）

2.双指针（一维）

应用场景：

知识图谱、文本理解、对话系统、信息检索、槽位抽取

词典匹配

概述：

​ 词典匹配是工业界最常用的NER技术，尤其是垂直领域的NER任务。经过离线实体库不断的丰富完善累积后，在线使用词典匹配进行实体识别目前美团基于实体库在线ner识别率可以达到92%（2020）。

重点工作：实体离线挖掘、字符匹配算法

优点：速度快，可解释性强，且精度高

缺点：长期维护、未登录实体

词典匹配——实体离线挖掘

实体来源：

1.领域UGC、会话文本等非结构化数据；2.用户搜索日志；3.百科词条、领域信息库

业界方案：
美团基于用户UGC垂直领域的实体挖掘方案：

Step1：候选序列挖掘。频繁连续出现的词序列，是潜在新型词汇的有效候选。

Step2：基于远程监督的大规模有标记语料生成。利用领域已累积实体词典作为远程监督词库，将Step1中候选序列与实体词典的交集作为训练正例样本。将基于n-gram的候选短语中不匹配任何知识库的高质量短语的短语放在负向池中。

Step3: 基于深度语义网络的短语质量评估。我们利用搜索日志数据对Step2中生成的大规模正负例池数据进行远程指导，将有大量搜索记录的词条作为有意义的关键词。我们将正例池与搜索日志重合的部分作为模型正样本，而将负例池减去搜索日志集合的部分作为模型负样本，进而提升训练数据的可靠性和多样性。

详细内容见 https://tech.meituan.com/2020/07/23/ner-in-meituan-nlp.html

词典匹配—字符匹配算法

1.构建字典树

2.双向匹配算法

正向最大匹配：从前往后依次匹配子句是否是词语，以最长的优先。

后向最大匹配：从后往前依次匹配子句是否是词语，以最长的优先。

3.双向最大匹配原则：

覆盖 token 最多的匹配。

句子包含实体和切分后的片段，这种片段+实体个数最少的。