jieba分词学习记录

最新推荐文章于 2024-07-05 18:00:26 发布
最新推荐文章于 2024-07-05 18:00:26 发布
阅读量1.1k 收藏
点赞数
分类专栏： 分词 文章标签： jieba 分词 中文分词 学习记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Changer_sun/article/details/79233797
版权

jieba分词

分词

import jieba

str = '贾跃亭来到北京清华大学'

a = jieba.cut(str,cut_all=False,HMM=True)
b = jieba.cut(str,cut_all=True ,HMM=True) # cut_all=True 全模式
c = jieba.cut(str,cut_all=False,HMM=False)
d = jieba.cut(str,cut_all=True ,HMM=False)
e = jieba.lcut(str,cut_all=True ,HMM=False)
f = jieba.cut_for_search(str) #搜索引擎模式

print (a) #返回的是一个生成器（这对大数据量数据的分词尤为重要）
print (e) #lcut返回的是一个列表
print ("/ ".join(a))
print ("/ ".join(b))
print ("/ ".join(c))
print ("/ ".join(d))
print ("/ ".join(e))
print ("/ ".join(f))
<generator object Tokenizer.cut at 0x7f5d6d6d1518>
['贾', '跃', '亭', '来到', '北京', '清华', '清华大学', '华大', '大学']
贾跃亭/ 来到/ 北京/ 清华大学
贾/ 跃/ 亭/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
贾/ 跃/ 亭/ 来到/ 北京/ 清华大学
贾/ 跃/ 亭/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
贾/ 跃/ 亭/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
贾跃亭/ 来到/ 北京/ 清华/ 华大/ 大学/ 清华大学

三个参数：

  • 需要分词的字符串；
  • cut_all 参数用来控制是否采用全模式；>>>>cut_all=False 默认模式，不使用全模式
  • HMM 参数用来控制是否使用 HMM 模型；
全模式默认模型（精确模型）搜索引擎模式
试图将句子最精确地切开，适合文本分析，输出的是所有可能的分词组合比如清华大学，会被分成：清华，清华大学，华大，大学把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义，比如清华大学，只会输出清华大学在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词

- cut_all=True, HMM=_对应于全模式，即所有在词典中出现的词都会被切分出来，实现函数为__cut_all；
- cut_all=False, HMM=False对应于精确模式且不使用HMM；按Unigram语法模型找出联合概率最大的分词组合，实现函数为__cut_DAG；
- cut_all=False, HMM=True对应于精确模式且使用HMM；在联合概率最大的分词组合的基础上，HMM识别未登录词，实现函数为__cut_DAG_NO_HMM。

添加自定义词典/动态调整词典

import jieba

print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
print(jieba.suggest_freq(('中', '将'), True))
print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))

print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
print(jieba.suggest_freq('台中', True))
print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
如果/放到/post/中将/出错/。
494
如果/放到/post/中/将/出错/。
「/台/中/」/正确/应该/不会/被/切开
69
「/台中/」/正确/应该/不会/被/切开

关键词提取

import jieba
import jieba.analyse

s = "鉴于这个设定，可以看到出门问问的设计团队在小心围绕着功能多又不能跟AirPods完全撞车的这么个理念来做这款产品。它的盒子是一个胶囊形状，耳机横放在其中充电，打开进入配对状态，外形则是入耳款，官方强调怎么甩都不掉；还有IP5X级别的防水功能；打开瞬间启动耳机；带上放歌，拿下暂停，再带上继续。"
for x, w in jieba.analyse.extract_tags(s, withWeight=True):
    print('%s %s' % (x, w))#TF-IDF

for x, w in jieba.analyse.textrank(s, withWeight=True):
    print('%s %s' % (x, w))#TextRank
#TF-IDF
耳机 0.3611468517484615
带上 0.2969484999353846
放歌 0.24619356467884618
打开 0.23331866727192307
AirPods 0.2298993750557692
IP5X 0.2298993750557692
功能 0.21199124926384616
入耳 0.2012825086057692
撞车 0.1959058766403846
配对 0.18646125062653846
防水 0.17914827256365384
胶囊 0.1785684064448077
充电 0.1772797389394231
盒子 0.16421895165903846
拿下 0.15994579506134615
设定 0.15472318711096153
这款 0.15439538197115385
瞬间 0.15370374449634616
问问 0.14996382802615385
暂停 0.1460813240298077
#TextRank
打开 1.0
耳机 0.9423677601733221
功能 0.863821618000734
带上 0.7836900471038877
设计 0.7192470995546825
出门 0.6225588459319535
团队 0.5992280618842792
启动 0.5894828446592968
配对 0.5830656424801997
进入 0.5816762307781237
充电 0.567067915542485
级别 0.5481829479772666
形状 0.5393498034396065
防水 0.5191169691281164
看到 0.5164778443892695
外形 0.5125561990157166
放歌 0.50381092985838
强调 0.5010854647352813
问问 0.49912969745860775
小心 0.4894394602293442

获得词性|词性标注

import jieba
import jieba.posseg

str = "可以看到出门问问的设计团队在小心围绕着功能多又不能跟AirPods完全撞车的这么个理念来做这款产品。"
words = jieba.posseg.cut(str)
for word, flag in words:
    print('%s %s' % (word, flag))
可以 c
看到 v
出门 v
问问 n
的 uj
设计 vn
团队 n
在 p
小心 n
围绕 v
着 uz
功能 n
多 m
又 d
不能 v
跟 p
AirPods eng
完全 ad
撞车 v

import jieba
import jieba.posseg

str = "可以看到出门问问的设计团队在小心围绕着功能多又不能跟AirPods完全撞车的这么个理念来做这款产品。"
words = jieba.posseg.cut(str)
# for word, flag in words:
#     print('%s %s' % (word, flag))

for x in words:
    if x.flag.startswith('v'):#筛选只输出其中的名词
        print (x.word,x.flag)

看到 v
出门 v
设计 vn
围绕 v
不能 v
撞车 v
来 v
做 v

使用用户字典提高分词准确性

import jieba

txt = u'欧阳建国是创新办主任也是欢聚时代公司云计算方面的专家'
print (','.join(jieba.cut(txt)))

f = open('/home/sun/Python_learn/Learn_jieba/a.txt', 'rb') #注意路径
jieba.load_userdict(f)
print (','.join(jieba.cut(txt)))
#a.txt
云计算 5
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz
八一双鹿 3 nz
欢聚时代 2
欧阳建国 1

#用户字典每行一个词，格式为：
#词语 词频 词性
#其中词频是一个数字，词性为自定义的词性，要注意的是词频数字和空格都要是半角的。
欧阳,建国,是,创新,办,主任,也,是,欢聚,时代,公司,云,计算,方面,的,专家
欧阳建国,是,创新办,主任,也,是,欢聚时代,公司,云计算,方面,的,专家

并行分词

import jieba

#txt = open('/home/sun/Python_learn/Learn_jieba/589965.txt', 'rb')
txt = open('/home/sun/Python_learn/Learn_jieba/589965.txt').read()
print (len(txt))

jieba.enable_parallel(100)
txt_words = [x for x in jieba.cut(txt) if len(x) >= 2]
jieba.disable_parallel()

from collections import Counter
c = Counter(txt_words).most_common(20)#获取出现频率Top n的词
print (c)
241132
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.657 seconds.
Prefix dict has been built succesfully.
[('神南', 1394), ('战车', 1309), ('无双', 421), ('有些', 420), ('什么', 357), ('一个', 353), ('比赛', 343), ('知道', 322), ('对方', 316), ('他们', 304), ('就是', 271), ('没有', 255), ('直接', 251), ('自己', 241), ('云衣', 238), ('说道', 229), ('感觉', 224), ('不是', 223), ('瞬间', 222), ('这个', 221)]


如果词的长度改为>=1
[(' ', 19143), ('，', 14393), ('\n', 9710), ('的', 7498), ('。', 3714), ('了', 3554), ('“', 2263), ('”', 2260), ('是', 1584), ('神南', 1394), ('！', 1331), ('他', 1325), ('战车', 1309), ('…', 1168), ('在', 1087), ('也', 981), ('你', 916), ('就', 902), ('我', 839), ('不', 739)

New

基于 TF-IDF 算法的关键词抽取

import jieba.analyse

  • jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    • sentence 为待提取的文本
    • topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
    • withWeight 为是否一并返回关键词权重值，默认值为 False
    • allowPOS 仅包括指定词性的词，默认值为空，即不筛选
  • jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件

代码示例 （关键词提取）

https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py

关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径

关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径

关键词一并返回关键词权重值示例

基于 TextRank 算法的关键词抽取

  • jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
  • jieba.analyse.TextRank() 新建自定义 TextRank 实例

算法论文： TextRank: Bringing Order into Texts

基本思想:
  1. 将待抽取关键词的文本进行分词
  2. 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
  3. 计算图中节点的PageRank，注意是无向带权图
使用示例:

见 test/demo.py

MaxChanger
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
如何在jieba分词中加自定义词典_python好玩的词云和Jieba库的使用
weixin_39539684的博客
11-23 1751
一、安装jieba库：>pip install jieba #或者 pip3 install jieba二、jieba库解析jieba库主要提供提供分词功能，可以辅助自定义分词词典。jieba库中包含的主要函数如下：jieba.cut(s) 精确模式，返回一个可迭代的数据类型jieba.cut(s,cut_all=True) 全模式，输出文本s中所有可能的单词jieba.cut_for_se...
jieba.lcut()
weixin_44769957的博客
11-04 1万+
1.1、 精确模式 将句子最精确的切开，适合文本分析 默认使用jieba.lcut(文本)，返回分词列表 jieba.cut 返回生成器，遍历生成器即可获得分词的结果 In: jieba.lcut('今天真是个好天气！') Out: ['今天', '真是', '个', '好', '天气', '！'] st = '深圳市福田区华强职业技术学校' In: jieba.lcut(st) Out: ['深圳市', '福田区', '华强', '职业', '技术学校'] 列表： ...
忽略Warning: jieba Building prefix dict from the default dictionary Loading model from cache
最新发布
集电极
07-05 265
当首次导入 jieba 或者 jieba 的字典文件发生变化时，它会构建一个前缀树（字典树）以加速后续的分词操作。这个过程默认会输出一条信息：“Building prefix dict from the default dictionary”，这主要是为了调试和信息提示的目的。来禁止所有低于 CRITICAL 级别的日志输出，这包括构建字典树的信息。jieba 提供了一个全局变量。
Python3.6 利用jieba对中文文本进行分词，去停用词，统计词频
大脸猫的博客
01-22 1万+
from collections import Counter import jieba # jieba.load_userdict('userdict.txt') # 创建停用词list def stopwordslist(filepath): stopwords = [line.strip() for line in open(filepath, 'r').readlines()...
python中的jieba简单使用
爱上甜甜
09-05 2万+
jieba常用三个函数：jieba.lcut(x),jieba.lcut(x,cut_all = True),jieba.lcut_for_rearch(x) 代码练习： import jieba s ="中国特色社会主义进入新时代，我国社会主要矛盾已经转化为人民日益增长的美好\ 生活需要和不平衡不从分的发展之间的矛盾。" n = len(s) m = len(jieba.lcut(s)...
jieba.posseg.cut方法
qq_45893319的博客
07-21 7617
import jieba.posseg as pseg words = pseg.cut("你想去学校填写学生寒暑假住校申请表吗？") print(words) #输出结果：<generator object cut at 0x0000000037FFBF10> #以下代码拷到IDE中不能直接执行，需要引掉其中一行运行另一行才能出现所示输出结果 for word, flag in words: print('%s %s' % (word, flag)) #输出结果： '''你 r 想
jieba分词详解和实践
01-20
jieba分词是Python编程语言中广泛用于处理中文文本的分词工具，它以其高效、易用和丰富的功能，成为了中文自然语言处理领域的首选组件。本文将深入解析jieba分词的工作原理，并通过实例探讨其在实践中的应用。 首先...
街霸StreetFighter.zip
04-25
本资源是经过本地编译测试、可打开、可运行的资源或源码，可以用于毕业设计、课程设计的应用、参考和学习需求，请放心下载。 祝愿你在这个毕业设计项目中取得巨大进步，顺利毕业！ 但强调一下，这些项目源码仅供学习...
少年街霸游戏程序
10-29
《少年街霸游戏程序》是一款深受玩家喜爱的经典游戏，它承载了无数人的童年记忆。这款游戏在当时的街机市场上占据了重要地位，以其独特的角色设计、刺激的格斗体验和丰富的游戏模式吸引了众多玩家。 《少年街霸》的...
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件
11-03
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件 老王的原创教程见《手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》 https://orzgame.blog.csdn.net/article/details/109402316
少年街霸图标下载
12-25
【标题】"少年街霸图标下载...这些知识对于游戏设计师、UI/UX设计师以及对视觉传达有兴趣的任何人都具有很高的学习价值。通过分析和研究这些图标，我们可以了解到如何有效地创建和利用图标来增强品牌形象和用户体验。
jieba分词cut函数
Claire_Mk的博客
11-15 6432
2021SC@SDUSC 和拉丁语系不同，亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细的词。 jieba就是这样一个非常好用的中文工具，是以分词起家的，但是功能比分词要强大很多。 基本分词函数与用法 jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode) j
Python中文分词jieba.lcut()函数
热门推荐
liujingwei8610的专栏
12-07 4万+
选择题 以下代码的输出结果是？ import jieba str="中国是一个伟大的国家" jieba.lcut(str) 选项： A. ['中国是一个伟大的国家'] B. ['中国', '是', '一个', '伟大', '的', '国家'] C. ['中国', '国是', '一个', '伟大', '的', '国家'] D. '中国是一个伟大的国家' 问题解析 1.jieba是python中的中文分词第三方库，可以将中文的文本通过分词获得单个词语，返回类型为列表类型。 2.jieba
jieba.lcut方法
studyvcmfc的专栏
06-22 2660
jieba.lcut方法 jieba库的作用就是对中文文章进行分词，提取中文文章中的词语 cut(字符串, cut_all，HMM) 字符串是要进行分词的字符串对象 cut_all参数为真表示采用全模式分词，为假表示采用精确模式分词，默认值为假； HMM为真表示采用HMM模型，为假则不采用，默认值为真。 精确模式 jieba.lcut(字符串,cut_all=False) 全模式 ieba.lcut(字符串,cut_all=True) HMM 模型 隐马尔可夫模型 https:/.
python中jieba.lcut啥意思-Python之jieba中文分词库
weixin_39975810的博客
11-11 8715
jieba分词是Python中目前最受欢迎的中文分词库，他有许多特点，为了便于介绍直接引用官方介绍如下。支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词支持自定义词典MIT 授权协议jieba分词的原理是利用...
Jieba
DemoD_的博客
09-05 378
Jieba库：主要是将字符串分割成单词 import jieba txt = open(&quot;threekingdoms.txt&quot;, &quot;r&quot;, encoding=&quot;utf-8&quot;).read() # jieba.lcut(str) 将str分成片，不重复 words = jieba.lcut(txt) counts = {} for word in words: if len(w
jieba 分词
咖乐部
02-22 1179
一.介绍： jieba: “结巴”中文分词：做最好的 Python 中文分词组件 “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module. 完整文档见 : GitHub:https://github.com/fxsjy/jieba 特点 支持三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析.
(Python-jieba.posseg.cut)中文词性标注算法-我爱北京天安门
m0_51277974的博客
09-16 1141
1.txt:我爱北京天安门 词性标注结果写入2.txt # -*- encoding:utf-8 -*- import jieba.posseg # 读取文档 with open("1.txt",'r',encoding='utf-8')as f: words_2=jieba.posseg.cut(f.read()) # 进行词性标注 # 标注完写入文档 with open("2.txt",'w',encoding='utf-8')as f: for i in words_2: ..
python jieba分词(结巴分词)、提取词，加载词，修改词频，定义词库 -转载
weixin_34357928的博客
01-24 1315
转载请注明出处 “结巴”中文分词：做最好的 Python 中文分词组件,分词模块jieba，它是python比较好用的分词模块, 支持中文简体，繁体分词，还支持自定义词库。jieba的分词，提取关键词，自定义词语。结巴分词的原理原文链接：http://blog.csdn.net/HHTNAN/article/details/78722754 1、jieba.cut分词三种模式 ...
jieba分词年月日
08-12
jieba分词库不提供直接分词出年月日的功能。但是，你可以根据分词结果中的词语进行处理和判断，以提取出年月日信息。例如，你可以使用正则表达式或其他方法来匹配包含年、月、日的词语，并将其组合在一起形成日期。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值