jieba库统计出现词语次数和词云绘制

jieba库是 Python 第三方中文分词库,分词原理是利用一个中文词库,将待分词的内容与分词词库进行比较,通过图和动态规划方法找到最大概率的词组。
jieba 支持三种分词模式:精确模式、全模式和搜索引擎模式
(1)精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析。
jieba.lcut(s)–返回列表
jieba.cut(s)–返回一个可迭代的generator,可以使用 for 循环来获得分词后得到的每一个词语(可以用.join(generator)输出str类型)

import jieba
#输出列表
jieba.lcut('好好学习,天天向上')
Out[20]: ['好好学习', ',', '天天向上']
#输出可迭代的generator
 a = jieba.cut('好好学习,天天向上')
print("/ ".join(a))
Out:好好学习// 天天向上

(2)全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据。
jieba.lcut(s,cut_all=True) //‘cut_all=True’ 指定全模式(输出列表)
jieba.cut(s,cut_all=True) --输出可迭代的generator

import jieba
#输出列表
jieba.lcut('好好学习,天天向上',cut_all=True)
Out[21]: ['好好', '好好学', '好好学习', '好学', '学习', ',', '天天', '天天向上', '向上']
#输出可迭代的generator
 a = jieba.cut('好好学习,天天向上',cut_all=True)
print("/ ".join(a))
Out:好好/ 好好学/ 好好学习/ 好学/ 学习// 天天/ 天天向上/ 向上
``

(3)搜索引擎模式:在精确模式的基础上,对长词再次进行切分,更倾向于寻找短词语。
jieba.lcut_for_search(s) --输出列表
jieba.cut_for_search(s)–输出可迭代的generator

import jieba
#输出列表
jieba.lcut_for_search('好好学习,天天向上')
Out[22]: ['好好', '好学', '学习', '好好学', '好好学习', ',
  • 3
    点赞
  • 45
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值