未登录词(Out Of Vocabulary)识别

有人问道：南京市长叫江大桥？

你怎么知道的？

因为看到一个标语——南京市长江大桥欢迎您。

未登录词识别问题也叫做：命名实体识别(Named Entity Recognition)

常见的未登录词包括：
复制代码

人名：张三、陈方安生

地名：安湖路、龙腾苑四区

机构名：泰康人寿、欧姆龙公司

译名：安德森

组块识别(Chunking) 切分和标注多个词的单元

每个大的单元叫做组块(chunk)

用模式识别未登录词 例如“高东镇高东二路”，需要把“高东二路”这样不在词典中的路名识别出来。可以先把输入串抽象成待识别的标注序列，然后根据词类识别。例如：

利用模式来识别未登录街道名，识别规则可以表示成如下的形式：

镇后缀 未登录街道 =>镇后缀 UNKNOW 号码 街后缀

识别规则(Product) lhs = new ArrayList(); //左边的模式 rhs = new ArrayList(); //右边的模式 //镇后缀 UNKNOW 号码 街后缀 rhs.add(AddressType.SuffixTown); rhs.add(AddressType.Unknow); rhs.add(AddressType.No); rhs.add(AddressType.SuffixStreet); //镇后缀 未登录街道 lhs.add(new AddressSpan(1,AddressType.SuffixTown));//归约长度是1 //把“UNKNOW 号码 街后缀”3个符号替换成“未登录街道”