今天我们来学习 NER——Named entity recognition,命名实体识别,即识别出文档中具有特定意义的实体,例如人名、地名、机构名、专有名词等。
命名实体识别主要用来提取结构化信息,是信息提取、问答系统、句法分析、机器翻译等应用领域的重要工具。例如,可以用来自动识别简历中的电子邮件、电话号码、学位信息;可以从法律、金融和医疗等领域的文档中提取重要的实体,用于后续的分类和搜索等;用于识别新闻中的人物、机构、地点等标签,进而自动做文档分类;用 NER 来推荐与实体相关的内容,例如当用户浏览了一篇文章后,可以向他推荐具有相似实体的其他文章;还可以用于客服系统,当用户们写评论抱怨产品时,可以自动提取其中的地点、产品等实体信息,然后分配给相应的部门处理等等。
实现 NER 同样也有基于规则的传统方法,机器学习算法,还有深度学习算法,目前 state of art 的模型列表如下图所示:
今天我们先来学习最基础的