【初入NLP,主要是整理可参考文章】
1、分词
顾名思义就是将一个句子的词单位拆分开来,英文句子用空格分割,存在显性的分词方法,当然人名地名等实体名除外。相比英文,中文就要复杂得多,因为中文由单个字组合而成,字与字之间没有显性的拆分方式,这时候就需要依靠分词工具。
五种常见的中文分词工具:
Jieba:Python 中文分词组件,提供分词、词性标注、关键词抽取等,可以用自带的词典或者自己训练词典;
SnowNLP:国人自己写的用于中文处理的python类库,提供分词,词性标注,情感分析等(效果可能不如jieba好);
PkuSeg:北大研发的,分词准确率高且涉及领域广,支持自训练;
THULAC:清华研发的,标注能力强,准确率高,训练速度快;