1、引言
“结巴”中文分词: 做最好的 Python 中文分词组件
jieba分词是一个python中文分词组件,其源代码见https://github.com/fxsjy/jieba,可以对中文的句子进行切分,词性标注,关键词提取等。
2、安装
pip install jieba
3、用法
3.1、分词
jieba分词支持三种分词模式:精确模式、全模式和搜索引擎模式
精确模式: 试图将句子最精确地切开,适合文本分析。
全模式: 把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义。
搜索引擎模式: 在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
对一个句子进行分词
import re
s = '今天天气真好啊'
seg_jingque = jieba.cut(s,cut_all=False,HMM=True) # 精确模式
print("精确模式: " + "/ ".join(seg_jingque)) # 精确模式
seg_all = jieba.cut(s,cut_all=True,HMM=True) # 全模式
print("全模式: " + "/ ".join(seg_all)) # 全模式
seg_search = jieba.cut_for_search (s, HMM=True) # 搜索引擎模式
print("搜索引擎模式: " + "/ ".join(seg_search