python jieba分词使用

最近需要用到的结巴分词一些常用的函数,记录下

1. 分词功能

  • jieba.cut(text, cut_all, HMM),接受三个输入参数: text需要分词的文本;cut_all =True采用全模式,cut_all=False采用精确模式;HMM 是否使用 HMM 模型。
  • jieba.cut_for_search(text, HMM),接受两个输入参数: text需要分词的文本;HMM 是否使用 HMM 模型。
  • jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator,可以使用 for 循环来获得分词后得到的每一个词语
  • jieba.lcut 以及 jieba.lcut_for_search 直接返回 list

分词代码示例:

import jieba

cut = jieba.cut("我随便写个北京河图创意图片有限公司", cut_all=True)
print("全模式: " + "/ ".join(cut))  # 全模式

cut = jieba.cut("我随便写个北京河图创意图片有限公司", cut_all=False)
print("精确模式: " + "/ ".join(cut))  # 精确模式

cut = jieba.cut("我随便写个北京河图创意图片有限公司")  # 默认是cut_all=False,精确模式
print("默认模式: "+"/ ".join(cut))

cut = jieba.cut_for_search("我随便写个北京河图创意图片有限公司")  # 搜索引擎模式
print("搜索引擎模式: "+"/ ".join(cut))

结果输出:

全模式:/ 随便/// 北京/ 河图/ 创意/ 意图/ 图片/ 有限/ 有限公司/ 公司
精确模式:/ 随便/ 写个/ 北京/ 河图/ 创意/ 图片/ 有限公司
默认模式:/ 随便/ 写个/ 北京/ 河图/ 创意/ 图片/ 有限公司
搜索引擎模式:/ 随便/ 写个/ 北京/ 河图/ 创意/ 图片/ 有限/ 公司/ 有限公司
  • jieba.cut ()与jieba.lcut ()的输出比较:
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值