命名实体识别

基于规则的命名实体识别

简单的分词器（如二元分词器）无法识别OOV，所以需要运用一些规定的规则来辅助识别
如：在识别音译人名时，可以设置规则：一旦发现某词是人名，而该词后面跟随人名词时，将他们合并

层叠马尔科夫模型实现命名实体识别

针对不同情况，需要设计相应的标注集
拿人名识别举例
输入数据集进行训练后，代码会将人名拆分为碎片，模拟人名的错误切分.
接着，检查拆分后的姓名与其前后组成的词是否在辞典中.若在，根据标注集将其标注为对应的标签（如“这里有关天培”这个句子，姓名“关天培”拆分后组成了“有关”这个词语，它在辞典中.此时将这个词语标注为“上文成词”）
模型经过数据集的训练后进行测试时，会列出粗分的每个词语所有可能的标注，取可能性最大的标注，从而识别出人名

当然，通过设计对应的标注集，可以实现组织机构和地名的识别

序列标注实现命名实体识别

层叠马尔科夫模型的序列是单单通过统计的方法得到，所以对OOV的识别能力很差
而把前面学到的序列标注用到这上面，可以一定程度解决这个问题
而感知机因为特征利用率比隐马高，效果比隐马更好，这里介绍感知机实现命名实体识别.
相对于感知机分词，感知机命名实体识别的输入为 词语和词性，输出依旧为{B,M,E,S}，本质依旧是序列标注

Hanlp的实现

python版本的命名实体识别代码：

    analyzer = PerceptronLexicalAnalyzer(PerceptronSegmenter(), PerceptronPOSTagger(), recognizer)  # ①
    sentence = Sentence.create("与/c 特朗普/nr 通/v 电话/n 讨论/v [太空/s 探索/vn 技术/n 公司/n]/nt")  # ②
    while not analyzer.analyze(sentence.text()).equals(sentence):  # ③
        analyzer.learn(sentence)

第一行创建了感知机词法分析器，第二，三行训练了一个句子，重复在线学习直到分析结构与其一致为止