jieba安装
pip install jieba
jieba
常用的三种模式:
- 精确模式,试图将句子最精确地切开,适合文本分析;
- 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
- 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
可使用 jieba.cut
和 jieba.cut_for_search
方法进行分词,两者所返回的结构都是一个可迭代的 generator
,可使用 for
循环来获得分词后得到的每一个词语(unicode
),或者直接使用 jieba.lcut
以及 jieba.lcut_for_search
返回 list
。
jieba.Tokenizer(dictionary=DEFAULT_DICT)
:使用该方法可以自定义分词器,可以同时使用不同的词典。jieba.dt
为默