python的jieba如何分词_Python jieba分词

1.安装jieba分词

pip install jieba #有可能会报错，使用清华源没有报错

2.切词的方法：jieba.cut() 和 jieba.cut_for_search()

2.1 jieba.cut()

第一个参数: 需要分词的字符串。

第二个参数: cut_all 控制切词的模式。

切词模式：

精确模式：试图将句子最精确地切开，适合文本分析；

全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义问题；

第三个参数：HMM 参数用来控制是否使用 HMM 模型

2.2 jieba.cut_for_search()

搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

以上两种方式切词，返回的结果是一个可迭代的generator对象，可以进行遍历或者转换为列表进行处理。 jieba.lcut 以及 jieba.lcut_for_search 直接返回 list

3.添加自定义词典：jieba.load_userdict()

参数词典文件路径的字符串，文件格式为utf-8

词典的每行格式分为三个部分(之间用空格隔开)：

第一部分：词语

第二部分：词频(也可能是权重)

第三部分：词性 (可忽略不写)

4.关键词提取:jieba.analyse.extract_tags()

4.1关键词提取

先from jieba import anallyse