python数据挖掘实战笔记——文本挖掘（2）：中文分词

需要了解的几个概念：
**中文分词：**将一个汉字序列切分成一个一个的词。
**停用词：**数据处理时，需要过滤掉某些字或词，泛滥的词，比如web\网站等，语气助词、介词、副词、连接词等，如 的、地、得。

需要用到的模块：jieba
jieba最主要的方法就是cut()方法，举个例子：

import jieba
for w in jieba.cut("我爱Python"):
    print(w)
我
爱
Python

seg_list = jieba.cut(
    "真武七截阵和天罡北斗阵哪个更厉害呢？"
)
for w in seg_list:
    print(w)
真武
七截阵
和
天罡
北斗
阵
哪个
更
厉害
呢
？

虽然jieba包已经有默认词库，但是有时候遇到一些专业的场景会出现一些不太理想的效果（如上所示代码），这种情况就需要我们导入一些专有词。

jieba.add_word('真武七截阵')
jieba.add_word('天罡北斗阵')
seg_list = jieba.cut(
    "真武七截阵和天罡北斗阵哪个更厉害呢？"
)
for w in seg_list:
    print(w)
真武七截阵
和
天罡北斗阵
哪个
更
厉害
呢
？

当词的数量很多时，可以用jieba.load_userdict()方法，将包含所有专用词的txt文件一次性导入用户自定义词库中：