一、中文数据预处理——分词
1、分词:中文分词模块——jieba库
默认精确模式,还有全模式、搜索引擎模式
2、分类
1)精确模式(默认):最精确的分开适合文本分析,并且不存在冗余词语,切分后词语总词数与文章总词数相同。。
2)全模式:所有可以合成的词语都扫描除了,速度快,但不解决歧义,有冗余,即在文本中从不同的角度分词,变成不同的词语。。
3)搜索引擎模式:精确模式上对长词切分,提高召回率,适用于搜索引擎分词。
(1)精确模式:jieba.lcut(字符串,cut_all=False),默认时为cut_all=False,表示为精确模型。
(2)全模式:ieba.lcut(字符串,cut_all=True),其中cut_all=True表示采用全模型进行分词。
(3)搜索引擎模式:在精确模式的基础上,对长词语再次切分。
3、词性标注含义
nt:机构团体
n:名词
p:介词
t:时间
v:动词
eng:英语词