基于python中jieba包的中文分词中详细使用（二）

最新推荐文章于 2024-07-05 18:00:26 发布
最新推荐文章于 2024-07-05 18:00:26 发布
阅读量2.2w 收藏 139
点赞数 21
分类专栏： Natural Language Processing Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meiqi0538/article/details/80218870
版权
本文详细介绍了基于python的jieba包在中文分词中的高级用法，包括利用TF-IDF算法进行关键词提取，词性标注，平行分词，Tokenize获取词语位置，以及如何进行延迟加载和使用其他词典，适用于自然语言处理和文本分析场景。
摘要由CSDN通过智能技术生成

文章目录

基于python中jieba包的中文分词中详细使用（二）

01.前言

在基于python中jieba包的中文分词中详细使用（一）已经介绍了jieba分词的一些基本内容，现在接着去介绍。

02.关键词提取

02.01基于TF-IDF算法的关键词提取

import jieba.analyse
  • jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,
    allowPOS=())
    其中需要说明的是：
    1.sentence 为待提取的文本
    2.topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
    3.withWeight 为是否一并返回关键词权重值，默认值为 False
    4.allowPOS 仅包括指定词性的词，默认值为空，即不筛选
  • jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件

代码示例


                

                
                
        

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  智绘山河
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    21
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    139
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
基于python中jieba包的中文分词中详细使用

				
			

			

				

					子钦加油的博客
				

				

					12-15
					
					2099
					
				

			

		

		

			
				
基于python中jieba包的中文分词中详细使用(一)
01.前言
之前的文章中也是用过一些jieba分词但是基本上都是处于皮毛，现在就现有的python环境中对其官方文档做一些自己的理解以及具体的介绍。本文主要内容也是从官网文档中获取。
02.jieba的介绍
02.1 What
“jieba” (Chinese for “to stutter”)Chiese text segmen...

			
		

	



                

              
                



	

		

			

				
					
Python中文分词包：jieba分词

				
			

			

				

					zylove2010的博客
				

				

					03-17
					
					1128
					
				

			

		

		

			
				
一、 基本功能： 
   import jieba 
   jieba._pcut(str), 生成的结果未做词性标注 
   jieba.posseg.cut(str,HMM=False) 
   生成的结果已做词性标注,HMM为隐马尔科夫模型，用于未登陆词（在词典中未出现过）的识别

二、词库更新 
（重新加载后失效，如需永久更改，可更换词典文件或者在现有词典文件中编辑更改） 
1）增加自定义...

			
		

	



                


  
              

                


	

		

			

				
					
python实现中文文本分类(一）jieba分词

				
			

			

				

					weixin_44602176的博客
				

				

					03-28
					
					9198
					
				

			

		

		

			
				
中文文本分类的步骤：
1.预处理：去除文本的噪声信息，例如HTML标签、文本格式转换、检测句子边界等。
2.中文分词：使用中文分词器为文本分词，并去除停用词。
3.构建词向量空间：统计文本词频，生成文本的词向量空间。
4.权重策略——TF-IDF方法：使用TF-IDF发现特征词，并抽取为反映文档主题的特征。
5.分类器：使用算法训练分类器。
6.评价分类结果：分类器的测试结果分析。
中文分词是将一个汉字序列切分成单独的词。jieba是专门使用python语言开发的分词系统，占用资源较小，常识类文档的分词精度

			
		

	





	

		

			

				
					
python--jieba分词、词性标注、关键词提取、添加自定义词典完整代码示例

				
			

			

				

					
				

				

					07-02
					
					3592
					
				

			

		

		

			
				
jieba是目前最好的 Python 中文分词组件，它主要有以下 3 种特性：

支持 3 种分词模式：精确模式、全模式、搜索引擎模式
支持繁体分词
支持自定义词典
1 分词
  可使用 jieba.cut 和 jieba.cut_for_search 方法进行分词，两者所返回的结构都是一个可迭代的 generator，可使用 for 循环来获得分词后得到的每一个词语（unicode），或者直接使用 jieba.lcut 以及 jieba.lcut_for_search 直接返回 list。其中：

ji.

			
		

	



		

			
		



	

		

			

				
					
忽略Warning: jieba Building prefix dict from the default dictionary Loading model from cache

					
最新发布

				
			

			

				

					集电极
				

				

					07-05
					
					290
					
				

			

		

		

			
				
当首次导入 jieba 或者 jieba 的字典文件发生变化时，它会构建一个前缀树（字典树）以加速后续的分词操作。这个过程默认会输出一条信息：“Building prefix dict from the default dictionary”，这主要是为了调试和信息提示的目的。来禁止所有低于 CRITICAL 级别的日志输出，这包括构建字典树的信息。jieba 提供了一个全局变量。

			
		

	





	

		

			

				
					
python分词代码_python jieba 分词进阶

				
			

			

				

					weixin_39653078的博客
				

				

					12-01
					
					596
					
				

			

		

		

			
				
https://www.cnblogs.com/jiayongji/p/7119072.html文本准备到网上随便一搜"三体全集"，就很容易下载到三体三部曲的全集文本(txt文档大概有2~3Mb)，这里重命名为santi.txt，并存放到当前目录下。读取三体全集文本#coding:utf-8importsys#设置环境为utf-8编码格式，防止处理中文出错reload(sys)sys.setdef...

			
		

	





	

		

			

				
					
python利用jieba实现中文分词

				
			

			

				

					weixin_44095417的博客
				

				

					11-04
					
					5609
					
				

			

		

		

			
				
jieba是一款强大的python第三方中文分词库。目前jieba已经支持四种分词模式：

精确模式：试图将句子最精确地切开，不存在冗余数据，适合文本分析。
全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义。
搜索引擎模式:在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
paddle模式:利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。

jieba安装
jieba提供了几种安装模式。

全自动安装：easy_ins

			
		

	





	

		

			

				
					
jieba，为中文分词而生的Python库

				
			

			

				

					weixin_43790276的博客
				

				

					04-16
					
					3934
					
				

			

		

		

			
				
jieba，为中文分词而生的库

			
		

	





	

		

			

				
					
python使用jieba实现中文分词去停用词方法示例

				
			

			

				

					09-20
				

			

		

		

			
				
首先，jieba分词器的安装非常简便，只需要通过Python的包管理工具pip即可完成，支持Python 2和3。安装命令如下： ```bash pip install jieba ``` jieba库支持三种分词模式：  1. **精确模式**：这是默认模式，旨在尽...

			
		

	





	

		

			

				
					
基于python中jieba包的中文分词中详细使用.pdf

				
			

			

				

					11-27
				

			

		

		

			
				
基于python中jieba包的中文分词中详细使用

			
		

	





	

		

			

				
					
基于Python的jieba中文分词包的安装-附件资源

				
			

			

				

					03-05
				

			

		

		

			
				
基于Python的jieba中文分词包的安装-附件资源

			
		

	





	

		

			

				
					
Python--Jieba进行中文分词（附代码）

				
			

			

				

					啊哈呀的博客
				

				

					01-24
					
					4605
					
				

			

		

		

			
				
这里写自定义目录标题Python--Jieba进行中文分词（附代码）
Python–Jieba进行中文分词（附代码）
相信学习过python的人一定知道中文分词工具jieba。在Jieba中，我们最熟悉的应该就是分词了，其实，除了分词之外，Jieba还有词性标注，提取关键词等功能。在这里，我要介绍的就是Jieba的分词功能和应用。（jieba分词官方下载地址：https://github.com/fxsjy/jieba）
Jieba分词是结合了基于规则和基于统计两类方法的分词

...

			
		

	





	

		

			

				
					
Python中文分词库jieba用法代码示例

				
			

			

				

					漫步量化
				

				

					06-16
					
					9639
					
				

			

		

		

			
				
jieba三种分词模式1

精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率2，适合用于搜索引擎分词。



算法

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
采用了动态规划查找最大概率路径, 找出基...

			
		

	





	

		

			

				
					
文本分析-使用jieba库实现TF-IDF算法提取关键词

					
热门推荐

				
			

			

				

					m0_64336780的博客
				

				

					06-27
					
					2万+
					
				

			

		

		

			
				
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。简单来说就是：一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。

			
		

	





	

		

			

				
					
Building prefix dict from the default dictionary ...Loading model from cache C:\Users\86184\AppData

				
			

			

				

					W13232010__的博客
				

				

					04-08
					
					2248
					
				

			

		

		

			
				
输入这个后仍然报错，请问大家这种情况怎么解决，已经困扰我一天了，还是无法解决jieba.setLogLevel(jieba.logging.INFO)words = jieba.lcut(str(txt))     # 使用精确模式对文本进行分词。jieba.load_userdict('关键词词典txt.txt')   # 导入用户词库。keyword_list = ['人工智能', '商业智能', '高端智能']# ans即为所求，是一个字典。

			
		

	





	

		

			

				
					
python 使用jieba.analyse提取句子级的关键字

				
			

			

				

					hzp666的博客
				

				

					11-24
					
					1540
					
				

			

		

		

			
				
allowPOS是允许的提取的词性，默认为allowPOS=‘ns’, ‘n’, ‘vn’, ‘v’，提取地名、名词、动名词、动词。jieba.analyse.extract_tags()提取关键字的原理是使用TF-IDF算法。文件是我一个旅游项目的数据，从中随机抽取了50行作为备选文字。withWeight 是否返回每个关键词的权重。感觉效果还是不错的，我只提取了名词和地点。，必须是str类型，不能是list。sentence 需要提取的。topK 提取前多少个关键字。

			
		

	





	

		

			

				
					
在python中使用wordcloud出现了以下问题该如何解决（跪求指点）

				
			

			

				

					weixin_42885288的博客
				

				

					07-16
					
					1450
					
				

			

		

		

			
				
Building prefix dict from the default dictionary …
Loading model from cache C:\Users\LENOVO\AppData\Local\Temp\jieba.cache
Loading model cost 0.647 seconds.
Prefix dict has been built successfully.



			
		

	





	

		

			

				
					
使用jieba分词出现“Building prefix dict from the default dictionary……”等提示如何去除

				
			

			

				

					江述南柯的博客
				

				

					04-28
					
					1万+
					
				

			

		

		

			
				
使用jieba分词出现“Building prefix dict from the default dictionary……”等提示如何去除
具体错误提示如下：

解决办法：
找到jieba库的__init__.py,打开，将第29行
default_logger.setLevel(logging.DEBUG)

改为
default_logger.setLevel(logging.INFO)

重新运行代码，不再报错。

参考：
1.https://github.com/fxsjy/jieba/issue

			
		

	





	

		

			

				
					
python去停用词-python使用jieba实现中文分词去停用词方法示例

				
			

			

				

					06-11
				

			

		

		

			
				
好的，下面是python使用jieba实现中文分词去停用词的示例代码：  ```python import jieba import jieba.analyse  # 加载自定义停用词表 jieba.analyse.set_stop_words("stopwords.txt")  # 待分词文本 text = "我...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
智绘山河

			
你的鼓励可能解决你下一个问题

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值