NLP基础——【1】分词、命名实体识别、词性标注

【初入NLP，主要是整理可参考文章】

1、分词

       顾名思义就是将一个句子的词单位拆分开来，英文句子用空格分割，存在显性的分词方法，当然人名地名等实体名除外。相比英文，中文就要复杂得多，因为中文由单个字组合而成，字与字之间没有显性的拆分方式，这时候就需要依靠分词工具。

       五种常见的中文分词工具：

        Jieba：Python 中文分词组件，提供分词、词性标注、关键词抽取等，可以用自带的词典或者自己训练词典；

        SnowNLP：国人自己写的用于中文处理的python类库，提供分词，词性标注，情感分析等（效果可能不如jieba好）；

        PkuSeg：北大研发的，分词准确率高且涉及领域广，支持自训练；

        THULAC：清华研发的，标注能力强，准确率高，训练速度快；