概述
NER全称是命名实体识别(Named Entity Recognition, NER),旨在识别文本中专有名词,如位置、组织和时间。
举例:
输入:小明在北京大学的燕园看了中国男篮的一场比赛
输出:B-PER,E-PER,O, B-ORG,I-ORG,I-ORG,E-ORG,O,B-LOC,E-LOC,O,O,B-ORG,I-ORG,I-ORG,E-ORG,O,O,O,O
其中,“小明 ”以PER,“北京大学”以ORG,“燕园”以LOC,“中国男篮”以ORG为实体类别分别挑了出来。
标注方法:
序列标注:
1.BIO:标识实体的开始、中间和非实体部分
2.BMES:增加S单个实体情况的标注
3.BIOES:增加E实体的结束标识
指针标注:
1.单指针(二维)
2.双指针(一维)
应用场景:
知识图谱、文本理解、对话系统、信息检索、槽位抽取
词典匹配
概述:
词典匹配是工业界最常用的NER技术,尤其是垂直领域的NER任务。经过离线实体库不断的丰富完善累积后,在线使用词典匹配进行实体识别目前美团基于实体库在线ner识别率可以达到92%(2020)。
重点工作:实体离线挖掘、字符匹配算法
优点:速度快,可解释性强,且精度高
缺点:长期维护、未登录实体
词典匹配——实体离线挖掘
实体来源:
1.领域UGC、会话文本等非结构化数据;2.用户搜索日志;3.百科词条、领域信息库
业界方案:
美团基于用户UGC垂直领域的实体挖掘方案:
Step1:候选序列挖掘。频繁连续出现的词序列,是潜在新型词汇的有效候选。
Step2:基于远程监督的大规模有标记语料生成。利用领域已累积实体词典作为远程监督词库,将Step1中候选序列与实体词典的交集作为训练正例样本。将基于n-gram的候选短语中不匹配任何知识库的高质量短语的短语放在负向池中。
Step3: 基于深度语义网络的短语质量评估。我们利用搜索日志数据对Step2中生成的大规模正负例池数据进行远程指导,将有大量搜索记录的词条作为有意义的关键词。我们将正例池与搜索日志重合的部分作为模型正样本,而将负例池减去搜索日志集合的部分作为模型负样本,进而提升训练数据的可靠性和多样性。
详细内容见 https://tech.meituan.com/2020/07/23/ner-in-meituan-nlp.html
词典匹配—字符匹配算法
1.构建字典树
2.双向匹配算法
正向最大匹配:从前往后依次匹配子句是否是词语,以最长的优先。
后向最大匹配:从后往前依次匹配子句是否是词语,以最长的优先。
3.双向最大匹配原则:
覆盖 token 最多的匹配。
句子包含实体和切分后的片段,这种片段+实体个数最少的。