NLP之中文命名实体识别

在MUC-6中首次使用了命名实体（named entity）这一术语，由于当时关注的焦点是信息抽取（information extraction）问题，即从报章等非结构化文本中抽取关于公司活动和国防相关活动的结构化信息，而人名、地名、组织机构名、时间和数字表达（包括时间、日期、货币量和百分数等）是结构化信息的关键内容。

命名实体识别(Named EntitiesRecognition，NER)，就是识别这些实体指称的边界和类别。主要关注人名、地名和组织机构名这三类专有名词的识别方法。

一、方法概述

和自然语言处理研究的其他任务一样，早期的命名实体识别方法大都是基于规则的。系统的实现代价较高，而且其可移植性受到一定的限制。

自20世纪90年代后期以来，尤其是进入21世纪以后，基于大规模语料库的统计方法逐渐成为自然语言处理的主流，一大批机器学习方法被成功地应用于自然语言处理的各个方面。根据使用的机器学习方法的不同，我们可以粗略地将基于机器学习的命名实体识别方法划分为如下四种：有监督的学习方法、半监督的学习方法、无监督的学习方法、混合方法。下表对这些方法进行了简要归纳。

 二、命名实体识别方法

1.基于CRF的命名实体识别方法 

McCallum等2003年最先将条件随机场（CRF）模型用于命名实体识别。由于该方法简便易行，而且可以获得较好的性能，因此受到业界青睐，已被广泛地应用于人名、地名和组织机构等各种类型命名实体的识别，并在具体应用中不断得到改进，可以说是命名实体识别中最成功的方法。 

基于CRF的命名实体识别与前面介绍的基于字的汉语分词方法的原理一样，就是把命名实体识别过程看作一个序列标注问题。其基本思路是（以汉语为例）：将给定的文本首先进行分词处理，然后对人名、简单地名和简单的组织机构名进行识别，最后识别复合地名和复合组织机构名。

所谓的简单地名是指地名中不嵌套包含其他地名，如地名：北京市、大不列颠、北爱尔兰、中关村等，而“北京市海淀区中关村东路95号”、“大不列颠及北爱尔兰联合王国”、“也门民主人民共和国”则为复合地名。同样，简单的组织机构名中也不嵌套包括其他组织机构名，如北京大学、卫生部、联合国等，而“欧洲中央银行”、“中华人民共和国卫生部”、“联合国世界粮食计划署”均为复合组织机构名。

基于CRF的命名实体识别方法属于有监督的学习方法，因此，需要利用已标注的大规模语料对CRF模型的参数进行训练。北京大学计算语言学研究所标注的现代汉语多级加工语料库被众多研究者用于汉语命名实体识别的模型训练。

在训练阶段，首先需要将分词语料的标记符号转化成用于命名实体序列标注的标记，如用PNB表示人名的起始用字，PNI表示名字的内部用字。类似地，用LOCB表示地名的起始用字，LOCI表示地名的内部用字；ORGB表示组织机构的起始用字，ORGI表示组织机构的内部用字。用OUT统一表示该字或词不属于某个实体。

接下来要做的事情是确定特征模板。特征模板一般采用当前位置的前后n（n≥1）个位置上的字（或词、字母、数字、标点等，不妨统称为“字串”）及其标记表示，即以当前位置的前后n个位置范围内的字串及其标记作为观察窗口：（…w－n/tag－n，…，w－1/tag－1w0/tag0，w1/tag1，…，wn/tagn，…）。考虑到，如果窗口开得较大时，算法的执行效率会太低，而且模板的通用性较差，但窗口太小时，所涵盖的信息量又太少，不足以确定当前位置上字串的标记，因此，一般情况下将n值取为2～3，即以当前位置上前后2～3个位置上的字串及其标记作为构成特征模型的符号。

由于不同的命名实体一般出现在不同的上