Python 多线程不加锁分块读取文件

最新推荐文章于 2024-07-28 22:10:20 发布
最新推荐文章于 2024-07-28 22:10:20 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Python 文章标签： Python 多线程 文件读取 分块
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sy_wb/article/details/79310123
版权
本文探讨了在多线程环境中，如何通过不加锁的方式分块读取文件，以避免同步问题并提高效率。作者提供了一个简单易用的分块读取方法，减少了锁操作带来的额外开销，保证了读取的正确性。
摘要由CSDN通过智能技术生成

多线程读取或写入，一般会涉及到同步的问题，否则产生的结果是无法预期的。那么在读取一个文件的时候，我们可以通过加锁，但读不像写操作，会导致文件错误，另外锁操作是有一定的耗时。因此通过文件分块，可以比较有效的解决多线程读问题，之前看到有人写的分块操作，比较复杂，需要实现建立好线程以及所读取块信息，在这里，我提供了一种比较简便的方法，以供参考。

 

#!/user/bin/env python
#_*_coding:utf-8_*_
from threading import Thread
import time
from processing import Process, Queue

from multiprocessing <

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  sydiesel
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
多线程读取文件

				
			

			

				

					05-29
				

			

		

		

			
				
NULL
博文链接：https://kaobian.iteye.com/blog/1126621

			
		

	



                

              
                



	

		

			

				
					
Java多线程读取大文件

				
			

			

				

					
				

				

					05-01
					
					394
					
				

			

		

		

			
				
前言
　　今天是五一假期第一天，按理应该是快乐玩耍的日子，但是作为一个北漂到京师的开发人员，实在难想出去那玩耍。好玩的地方比较远，近处又感觉没意思。于是乎，闲着写篇文章，总结下昨天写的程序吧。
　　昨天下午朋友跟我聊起，他说有个需求，需要把上G的txt文件读取写入到数据库。用普通的io结果自然是OOM了，所以果断用NIO技术。为了提高速度，自然还得用上多线程技术。
　　接下来就介绍...

			
		

	



                


  
              

                


	

		

			

				
					
python_使用多线程来处理数据写入Excel文件_threading.Thread

					
最新发布

				
			

			

				

					gf1321111的博客
				

				

					07-28
					
					503
					
				

			

		

		

			
				
python_使用了多线程来处理数据写入Excel文件_threading.Thread

			
		

	





	

		

			

				
					
Python 性能优化｜多线程读取文件

				
			

			

				

					长行
				

				

					03-22
					
					3465
					
				

			

		

		

			
				
使每一个切分点中尚未结束的行一定归属上一进程 / 线程而不是下一进程 / 线程，从而保证每一个进程 / 线程遍历的每一行都是完整且互不重复的。多进程可以实现逐行遍历同一个文件（可以保证每一个进程遍历的行都是完整且互不重复的），且可以提高遍历性能。通过统计读取到的字符串长度，计算当前文件指针位置，从而避免在每次遍历中均需使用。定义每个线程 / 进程的遍历函数如下：通过捕获。，所以单线程时的速度相较于直接读取会更慢。，所以单进程时的速度相较于直接读取会更慢。因为在每一行的遍历中需要增加一次。

			
		

	



		

			
		



	

		

			

				
					
python多线程入门示例

				
			

			

				

					zhe_csdn的博客
				

				

					07-26
					
					413
					
				

			

		

		

			
				
下面代码一共创建了三个线程:主线程,coding线程,music线程,最后使用thread_list装载
from time import ctime
import threading
def coding(language):
for i in range(5):
print('I’m coding ',language, ’ program at ', ctime() )
def music(...

			
		

	





	

		

			

				
					
Python 多线程不加锁分块读取文件的方法

				
			

			

				

					09-19
				

			

		

		

			
				
### Python多线程不加锁分块读取文件的方法  #### 概述  在进行文件处理时，特别是在处理大型文件时，使用多线程技术能够显著提高程序的执行效率。然而，多线程环境下文件的读取操作如果不加以适当管理，则可能会...

			
		

	





	

		

			

				
					
python多线程分块读取文件

				
			

			

				

					09-18
				

			

		

		

			
				
总结起来，Python的多线程分块读取文件的核心技术点包括：  1. 使用`threading.Thread`创建自定义线程类。 2. 在线程的`run`方法中处理文件读取，注意文件指针的定位和行边界处理。 3. 分割文件为多个等大小的块，...

			
		

	





	

		

			

				
					
Python多进程分块读取超大文件的方法

				
			

			

				

					12-25
				

			

		

		

			
				
本文实例讲述了Python多进程分块读取超大文件的方法。分享给大家供大家参考，具体如下： 读取超大的文本文件，使用多进程分块读取，将每一块单独输出成文件  # -*- coding: GBK -*- import urlparse import datetime...

			
		

	





	

		

			

				
					
多线程读取大文件

				
			

			

				

					04-26
				

			

		

		

			
				
NULL
博文链接：https://wpf-0604.iteye.com/blog/2348093

			
		

	





	

		

			

				
					
java多线程读取文件

				
			

			

				

					07-08
				

			

		

		

			
				
Java多线程读大文件 java多线程写文件：多线程往队列中写入数据

			
		

	





	

		

			

				
					
多线程随机读取文件

				
			

			

				

					08-13
				

			

		

		

			
				
多线程随机读取文件RandomAccessFile

			
		

	





	

		

			

				
					
多线程对文件读写操作(java)

				
			

			

				

					10-15
				

			

		

		

			
				
多线程对文件读写操作(java)，提高对文件读写效率。

			
		

	





	

		

			

				
					
多线程读文件

				
			

			

				

					万里长城永不倒的博客
				

				

					11-06
					
					531
					
				

			

		

		

			
				
如果多线程读同一文件，其实和一个线程是一样的，
所以要把文件按不同机能分开，每个线程读属于自己的文件。
import java.time.LocalTime;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CancellationException;
import java.

			
		

	





	

		

			

				
					
多线程读写大文件

				
			

			

				

					05-27
				

			

		

		

			
				
多线程读写大文件可以提高文件读写的效率，常用的方法有两种：分块读写和多线程读写。

1. 分块读写

分块读写是将大文件划分为多个块，每个线程读取一个块的数据进行处理，在处理完后将结果写入文件。这种方法的好处是可以充分利用多个线程，但需要注意的是需要保证多个线程读写的块大小要相同。

示例代码如下：

```python
import os
import threading

def process_block(block):
    # 处理块的函数
    pass

def read_file(file_path, block_size):
    file_size = os.path.getsize(file_path)
    num_blocks = (file_size + block_size - 1) // block_size  # 计算块数

    threads = []
    with open(file_path, 'rb') as f:
        for i in range(num_blocks):
            start = i * block_size
            end = min(start + block_size, file_size)
            block = f.read(end - start)

            t = threading.Thread(target=process_block, args=(block,))
            threads.append(t)
            t.start()

    for t in threads:
        t.join()

if __name__ == '__main__':
    file_path = 'large_file.txt'
    block_size = 1024 * 1024  # 1MB
    read_file(file_path, block_size)
```

2. 多线程读写

多线程读写是将文件分成多个部分，每个线程负责处理一个部分，可以采用线程池的方式来管理多个线程。这种方法的好处是可以充分利用 CPU 和 IO 资源，但需要注意的是需要保证多个线程读写的部分大小要相同。

示例代码如下：

```python
import os
import concurrent.futures

def process_chunk(chunk):
    # 处理部分的函数
    pass

def read_file(file_path, num_threads):
    file_size = os.path.getsize(file_path)
    chunk_size = (file_size + num_threads - 1) // num_threads  # 计算部分大小

    with open(file_path, 'rb') as f:
        with concurrent.futures.ThreadPoolExecutor(max_workers=num_threads) as executor:
            futures = []
            for i in range(num_threads):
                start = i * chunk_size
                end = min(start + chunk_size, file_size)
                chunk = f.read(end - start)

                futures.append(executor.submit(process_chunk, chunk))

            for future in concurrent.futures.as_completed(futures):
                result = future.result()

if __name__ == '__main__':
    file_path = 'large_file.txt'
    num_threads = 4
    read_file(file_path, num_threads)
```

在上面的示例代码中，我们使用了 Python 的 `concurrent.futures` 模块来实现多线程读写。首先将大文件分成多个部分，然后使用线程池的方式来管理多个线程，每个线程负责处理一个部分，从而充分利用 CPU 和 IO 资源。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值