jieba分词

1、引言

“结巴”中文分词： 做最好的 Python 中文分词组件
jieba分词是一个python中文分词组件，其源代码见https://github.com/fxsjy/jieba，可以对中文的句子进行切分，词性标注，关键词提取等。

2、安装

pip install jieba

3、用法

3.1、分词

jieba分词支持三种分词模式：精确模式、全模式和搜索引擎模式
精确模式： 试图将句子最精确地切开，适合文本分析。
全模式： 把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义。
搜索引擎模式： 在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
对一个句子进行分词

import re

s = '今天天气真好啊'

seg_jingque = jieba.cut(s,cut_all=False,HMM=True) # 精确模式
print("精确模式: " + "/ ".join(seg_jingque))  # 精确模式

seg_all = jieba.cut(s,cut_all=True,HMM=True) # 全模式
print("全模式: " + "/ ".join(seg_all))  # 全模式

seg_search = jieba.cut_for_search (s, HMM=True) # 搜索引擎模式
print("搜索引擎模式: " + "/ ".join(seg_search