【python技巧实用篇】python读写文件、jieba自定义字典

最新推荐文章于 2024-07-03 14:34:12 发布
最新推荐文章于 2024-07-03 14:34:12 发布
阅读量6.7k 收藏 3
点赞数 1
分类专栏： python技能 文章标签： python 中文分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/macb007/article/details/76358883
版权
这篇博客介绍了如何使用Python结合jieba库进行中文文件的读取、自定义词典加载以及分词操作。通过加载自定义词典提升分词准确性，将分词结果写入新的文件中，实现了对文本数据的高效处理。
摘要由CSDN通过智能技术生成 
 

import jieba
from astropy.table.np_utils import  join
import os
import sys
import jieba.posseg as pseg


def main():
    current_dir = os.path.abspath('.')
    #自定义词典文件

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  macb007
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
jieba分词的自定义词典文档 完整版

				
			

			

				

					12-08
				

			

		

		

			
				
jieba分词的自定义词典：使用jieba分词对语料进行分词之前，需要先载入，载入代码为jieba.load_userdict("userdict.txt")。

			
		

	



                

              
                



	

		

			

				
					
jieba分词自定义词典

				
			

			

				

					Dorisi_H_n_q的博客
				

				

					08-24
					
					4925
					
				

			

		

		

			
				
    从语料库down下来的词频表，结合业务实际分词进行调优，添加云计算（jieba无法准确划分该词）等词及词频，down的文件格式使用python的文件读写进行调整：


with open(file='./Minedic.txt',mode='r',encoding='utf-8') as f:
    read=f.readlines()

for line in read:
    st...

			
		

	



                


  
              

                


	

		

			

				
					
【jieba】加载自定义词典注意事项

					
最新发布

				
			

			

				

					xiangxiang613的专栏
				

				

					07-03
					
					304
					
				

			

		

		

			
				
A：举例说明。jieba.add_word("数据采集")result = jieba.lcut("我正在做数据采集的工作")输出：[‘我’, ‘正在’, ‘做’, ‘数据采集’, ‘的’, ‘工作’]毫无疑问，其可以准确的对句子中的出现的“数据采集进行提取”。

			
		

	





	

		

			

				
					
python使用结巴分词(jieba)创建自己的词典/词库

				
			

			

				

					qq_41623154的博客
				

				

					07-24
					
					1万+
					
				

			

		

		

			
				
原文地址：https://ptorch.com/news/204.html

为什么需要在python使用结巴分词(jieba)创建自己的词典/词库，因为很多时候分词给我们的结果了能刚好相反，如:不回家变成了不,回家;从上一篇文章文章我们已经讲诉了python使用结巴中文分词以及训练自己的分词词典，基本的安装和基本使用大家直接去看那篇文章即可，我们主要介绍如何python创建自己的词典。

一、创...

			
		

	



		

			
		



	

		

			

				
					
字典类型操作、jieba库使用及文本词频统计

				
			

			

				

					薛定谔的猫
				

				

					03-28
					
					2884
					
				

			

		

		

			
				
理解“映射”映射是一种键(索引)和值(数据)的对应字典类型是“映射”的体现键值对：键是数据索引的扩展字典是键值对的集合，键值对之间无序采用大括号{}和dict()创建，键值对用冒号: 表示{:，:}可以通过键拿到值我们在之前的的集合中说声明一个空集合要使用set()，而不是直接用{}这是因为，如果使用{}默认为集合。

			
		

	





	

		

			

				
					
Python——jieba优秀的中文分词库（基础知识+实例）

					
热门推荐

				
			

			

				

					好好读书
				

				

					09-14
					
					9万+
					
				

			

		

		

			
				
优秀的中文分词库——jieba库

			
		

	





	

		

			

				
					
jieba分词 自定义词表简介

				
			

			

				

					feng98ren的专栏
				

				

					05-24
					
					1万+
					
				

			

		

		

			
				
一、jieba分词增加自定义词表                                                在使用jieba分词时经常会发现一些未登录词，因此增加领域词表就变得很重要，下面提供增加几种途径：1、领域权威词汇字典2、搜狗输入法领域词库、百度输入法领域词库3、jieba分词提供的其他词典：点我查看jieba分词提供的其他字典，点我查看jieba分词词性标记含义然后这...

			
		

	





	

		

			

				
					
Jieba中文分词 (一) ——分词与自定义字典

				
			

			

				

					吉姆0818
				

				

					04-14
					
					1万+
					
				

			

		

		

			
				
jieba分词特点支持四种分词模式：精确模式试图将句子最精确地切开，适合文本分析；全模式把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式在精确模式的基础...

			
		

	





	

		

			

				
					
Python入门课程笔记及实用总结(icourse163)

				
			

			

				

					01-14
				

			

		

		

			
				
### 二、Python实用技巧  #### 安装和更新Python, Python-dev, PIP  - **在Ubuntu下安装Python** - **在Ubuntu下安装Python-dev** - **在Ubuntu下安装及升级PIP**  #### 命令  - 涵盖常用的Python命令，如运行脚本、...

			
		

	





	

		

			

				
					
计算机二级python自用笔记

				
			

			

				

					04-08
				

			

		

		

			
				
 - 读写操作：如`read()`读取文件、`write()`写入文件等。  - 文件关闭：使用`close()`关闭文件。  - **数据组织的维度**：  - 一维数据：简单的线性数据结构。  - 二维数据：具有行和列的数据结构。  - **一维数据...

			
		

	





	

		

			

				
					
python案例教程钱毅湘-Python案例教程.pdf

				
			

			

				

					06-12
				

			

		

		

			
				
第十章“文件”讲解了文件操作，包括读写文件和CSV文件处理，使读者能够进行文件输入输出操作。  第十一章“Python扩展库”介绍了多个常用的Python库，如math、random、time和datetime、turtle、jieba、wordcloud和...

			
		

	





	

		

			

				
					
Python基础教程-教学大纲.doc

				
			

			

				

					06-12
				

			

		

		

			
				
8. **文件操作**：教授文件的打开、关闭、读写、重命名和删除，以及CSV文件处理，使学生能进行文件及数据集的管理。  9. **异常处理**：介绍异常的基本概念，学习如何处理系统内置异常和自定义异常，掌握with语句和...

			
		

	





	

		

			

				
					
Python五级考纲说明.docx

				
			

			

				

					01-15
				

			

		

		

			
				
 - 操作与函数：能进行字典的读写、修改和删除操作，如`update()`, `get()`, `pop()`, `keys()`, `values()`等。   4. 集合操作：  - 集合理解：了解集合的无序、不重复特性。  - 常用操作：掌握添加元素（`add()`）...

			
		

	





	

		

			

				
					
使用jieba测试分词并且增加自定义字典

				
			

			

				

					yilvyangguang520的博客
				

				

					08-10
					
					2609
					
				

			

		

		

			
				
使用jieba测试分词并且增加自定义字典

			
		

	





	

		

			

				
					
jieba分词库字典与jiebago分词

				
			

			

				

					leijmdas的专栏
				

				

					06-10
					
					254
					
				

			

		

		

			
				
词频：词库中的数字通常表示词的频率，即这个词在语料库中出现的频率。词的类别：在自定义词典中，词后面的字母可能表示词的类别，如人名、地名、机构名等，这有助于jieba在分词时进行更准确的词性标注和词义消歧。词的形态特征：在一些高级的分词系统中，词库中的附加信息可能还包括词的形态特征，如是否为多音字、是否为合成词等。词的编码：在某些情况下，词库中的数字和字母可能是词的编码，用于在内部算法中快速查找和处理。词的权重：在一些分词算法中，词后面的数字可能表示词的权重，用于在分词过程中调整词的优先级。

			
		

	





	

		

			

				
					
Python最好用的中文分词库：jieba

				
			

			

				

					python03012的博客
				

				

					04-06
					
					2313
					
				

			

		

		

			
				
使用jieba分词时，分词结果需要与jieba的词典库进行匹配，才能返回到分词结果中。因此有些词需要用户自定义，才能识别到。jieba.add_word('铃儿响叮当')jieba.add_word('让世界充满爱')jieba.add_word('迅雷不及掩耳之势')print('[添加自定义词语]：', lcut_res)[添加自定义词语]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',

			
		

	





	

		

			

				
					
Python jieba分词（使用默认词典，自定义词典，对文件内容分词并统计词频）

				
			

			

				

					qq_44331100的博客
				

				

					11-06
					
					2万+
					
				

			

		

		

			
				
本文仅作为本人的笔记分享，便于以后查找，也可以提供一些学习笔记给同学们，如有错误，欢迎批评指正
一.jieba分词的三种模式
1.全模式：将可以成词的词语都扫描出来，但是不解决歧义
2.精确模式：将所有句子精确地分开
3.搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

import jieba

'''
jieba分词的三种模式：
    1.全模式：将可以成词的词语都扫描出来，但是不解决歧义
    2.精确模式：将所有句子精确地分开
    3.搜索引擎模式：在精

			
		

	





	

		

			

				
					
结巴分词jieba添加自定义词典

				
			

			

				

					weixin_40340586的博客
				

				

					02-07
					
					1万+
					
				

			

		

		

			
				
结巴分词添加自定义词典，有时候很有必要。比如下面这段话：


test_text = """
我们的健康码也是绿色的，
 这凭什么就限制我们的就医！

"""

如果使用默认的分词，那么，“健康码”这个词会分成“健康”和“码”



这里可以使用词典方式，添加自定义词典。

新建一个txt文件，在文件里输入“健康码”



以utf-8形式保存，这里使用pycharm，默认就是utf8.不用管。

然后使用


jieba.load_userdict(os.path.join(wk_dir, "jiebaD

			
		

	





	

		

			

				
					
jieba结巴分词加入自定义词典

				
			

			

				

					weixin_43919570的博客
				

				

					02-15
					
					3万+
					
				

			

		

		

			
				
参考jieba官方文档
分词
返回generator
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
返回list
jieba.lcut 以及 jieba.lcut_for_search 直接返回 list（采用这种方式更加方便）
import jieb...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值