python实现一个简单的线程池

最新推荐文章于 2023-04-15 14:52:42 发布
最新推荐文章于 2023-04-15 14:52:42 发布
阅读量272 收藏
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/Bw98blogs/p/10833797.html
版权

简介

 

利用python语言实现一个线程池，能够提供和 concurrent.futures 中提供的线程池类差不多的功能，比如初始化任务请求，初始化工作线程个数，获得特定请求对应的执行结果。

 

 

基本结构

 

1、线程池管理器（ThreadPool），用于启动、停用、管理线程池

2、请求（WorkRequest），用于创建请求对象，以供工作线程调度并执行任务

3、工作线程（WorkThread），用于执行目标函数的工作线程

4、请求队列（RequestQueue）,它是线程安全优先级阻塞队列，用于存放和获取请求

5、结果字典（resultDict）,它是字典，用于存储请求执行后返回的结果

 

 

模型图

 

 

 

各代码介绍

 

BlockPriorityQueue.py：构建线程安全的优先级阻塞队列

TestUnitForBPQueue.py：优先级阻塞队列的测试文件，写了一个基本生产者消费者示例用于测试队列的鲁棒性

MyThreadPool.py：构建线程池

TestUnitForPool.py：线程池测试文件，写了一个简单的示例用于测试我的线程池，do_work() 是要执行的目标函数，do_result() 是用于处理结果的函数（可以为空）

 

 

线程池测试结果

 

 

 

代码地址

 

　　github 地址

 

转载于:https://www.cnblogs.com/Bw98blogs/p/10833797.html

aibin6833
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python】实现线程池
lincoco49的博客
05-06 2009
一.线程池代码解释 1.初始化函数__init__(): 2.线程池启动函数run(): 3.创建线程函数generate_thread()： 4.处理任务函数call(): 5.关闭线程函数close(): 6.立即终止线程函数terminal(): 二.线程池代码块 三.线程池使用代码： 一.线程池代码解释 1.初始化函数__init__(): self.task: ...
用Python实现一个简单的线程池
12-24
我理解为线程池是一个存放很多线程的单位，同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程，因为当你创
Python中多线程和线程池的使用方法
weixin_47831992的博客
04-15 3969
上述代码中，我们定义了一个process函数，它接受一个列表作为参数，对列表中的每个元素进行运算，并将结果保存到另一个列表中。在上面的代码中，我们首先定义了一个GetHtmlThread类，继承自threading.Thread类，然后在类的构造函数中传入需要爬取的URL。在主程序中，我们创建了5个线程，每个线程都执行task函数，并传入不同的参数。但是，这种单线程爬取的方式效率较低，因为在获取HTML代码的时候需要等待响应，而在等待响应的过程中CPU会空闲，无法充分利用计算机的性能。
用python实现一个线程池
u013177568的专栏
03-16 687
# !/usr/bin/env python # -*- coding:utf-8 -*- # ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html import Queue
python线程池的原理和实现
https://www.cnblogs.com/zpchcbd/
09-03 1232
线程池 传统多线程问题？ ​ 传统多线程方案会使用“即时创建， 即时销毁”的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次数极其频繁，那么服务器将处于不停的创建线程，销毁线程的状态。 ​ 一个线程的运行时间可以分为3部分：线程的启动时间、线程体的运行时间和线程的销毁时间。在多线程处理的情景中，如果线程不能被重用，就意味着每次创建都需要经过...
Python探索之自定义实现线程池
09-21
主要介绍了Python探索之自定义实现线程池，使用queue实现线程池的方法，具有一定参考价值，需要的朋友可以了解下。
用Python实现一个简单的线程池模型效果代码分析讲解
07-03
本文提供给大家的是用python代码实现一个简单的线程效果源码案例。Python的多线程爬虫一直都是学习python人士相对比较关注的一项，
浅谈python 线程池threadpool之实现
09-21
主要介绍了浅谈python 线程池threadpool之实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
JVM系统线程
weixin_45650737的博客
10-13 356
虚拟机线程：这种线程的操作时需要JVM达到安全点才会出现。这些操作必须在不同的线程中发生的原因是他们都需要JVM达到安全点，这样堆才不会变化。这种线程的执行类型包括“stop-the-world”的垃圾收集，线程栈收集，线程挂起以及偏向撤销。 周期任务线程：这种线程是时间周期性事件的体现（比如中断），他们一般用于周期性操作的调度执行。 GC线程:这种线程对 ...
python实现线程池_Python实现线程池
weixin_29288313的博客
02-20 372
最近在做一些文本处理方面的事情，考虑到程序利用并发性可以提高执行效率(不纠结特殊反例)，于是入围的Idea如使用多进程或多线程达到期望的目标，对于进程或线程的创建是有代价的，那么我们是否可以实现一个线程池来达到已创建的线程反复使用从而使代价降低到最小呢？当然可以，要想创建一个线程池，那么必须得有个容器来模拟“池”，在Python中，队列这样的数据结构就可以帮我们解决“池”这个问题，然而随之引来的多...
线程池的研究及实现
weixin_34117211的博客
03-10 2630
什么是线程池？ 诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简单的模型是：每当一个请求到达就创建一个新的服务对象，然后在新的服务对象中为请求服务。但当有大量请求并发访问时，服务器不断的创建和销毁对象的开销很大。所以提高服务器效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创...
Python 线程池原理及实现
热门推荐
码农富哥
07-26 2万+
概述 传统多线程方案会使用“即时创建， 即时销毁”的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次数极其频繁，那么服务器将处于不停的创建线程，销毁线程的状态。 一个线程的运行时间可以分为3部分：线程的启动时间、线程体的运行时间和线程的销毁时间。在多线程处理的情景中，如果线程不能被重用，就意味着每次创建都需要经过启动、销毁和运行3个...
三：线程池类关系和参数解析
且随疾风前行
10-15 399
        上一个章节，我们介绍了线程的状态，这一次我们进入到线程池的学习，线程池我们分为3篇文章来介绍他，当前为第1篇，后续还有四：创建线程池的方式篇，还有五：线程池的源码深度解析篇。 当前篇我们分为2个两点来说明： 什么是线程池？ 线程池类关系？ 线程池定义的参数解析 1.什么是线程池？         网上你可以搜索到很多答案，我这里用通俗
python自定义线程池_【Python】用Python实现一个简单的线程池模型效果代码分析讲解...
weixin_31136061的博客
02-04 100
本文提供给大家的是用python代码实现一个简单的线程效果源码案例。Python的多线程爬虫一直都是学习python人士相对比较关注的一项python简单线程模型代码正文部分如下：`#-*-encoding:UTF-8-*-``#编码声明``import``threading,queue,os``#导入方法模块``def``main(inargs):``work_queue``=``...
Python简单使用线程池
weixin_45067072的博客
07-26 252
前言 线程池是一种线程使用模式。线程过多会带来调度开销，进而影响缓存局部性和整体性能。而线程池维护着多个线程，等待着监督管理者分配可并发执行的任务。   上述的性质使其减少了在处理短时间任务时创建与销毁线程的代价。线程池不仅能够保证内核的充分利用，还能防止过分调度。   之前我们使用爬虫爬取资源时一直都是单线程操作,一些小规模的任务不明显,但当任务量大起来之后,频繁的I/O操作使得爬取等待的时间极为漫长。而线程池在为我们开辟多个线程加快资源爬取的同时，还能避免线程过多带来的调度开销。什么是调度开销？就是.
python自定义线程池
pansaky的博客
03-21 4881
关于python的多线程，由与GIL的存在被广大群主所诟病，说python的多线程不是真正的多线程。但多线程处理IO密集的任务效率还是可以杠杠的。 我实现的这个线程池其实是根据银角的思路来实现的。 主要思路： 　　任务获取和执行： 　　1、任务加入队列，等待线程来获取并执行。 　　2、按需生成线程，每个线程循环取任务。 　　线程销毁： 　　1、获取任务是终止符时，线程停止。 ...
python代码实现简单的多线程
03-15 424
线程 在程序里一个执行路线就叫做线程,线程是程序执行的最小单位. 多线程 多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。 程序的运行速度可能加快 在一些等待的任务实现上如用户输入、文件读写和网络收发数据等。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。 Python3 通过两个标准库 _thread 和 threadin...
python 实现进程池 + 线程池 示例
最新发布
08-06
### 回答1： Python实现进程池和线程池的示例如下： 进程池： from multiprocessing import Pool def f(x): return x*x if __name__ == '__main__': with Pool(5) as p: print(p.map(f, [1, 2, 3])) 线程池： from multiprocessing.pool import ThreadPool def f(x): return x*x if __name__ == '__main__': with ThreadPool(5) as p: print(p.map(f, [1, 2, 3])) ### 回答2： Python中可以使用multiprocessing模块来实现进程池和使用concurrent.futures模块来实现线程池。 进程池示例： ```python import multiprocessing def do_task(task): # 执行任务的函数 # ... if __name__ == '__main__': # 创建进程池，设置最大进程数为4 pool = multiprocessing.Pool(processes=4) tasks = [task1, task2, task3, task4, task5] # 任务列表 # 向进程池提交任务 for task in tasks: pool.apply_async(do_task, args=(task,)) # 关闭进程池，表示不再接受新的任务 pool.close() # 阻塞等待所有任务完成 pool.join() ``` 线程池示例： ```python import concurrent.futures def do_task(task): # 执行任务的函数 # ... if __name__ == '__main__': # 创建线程池，设置最大线程数为4 pool = concurrent.futures.ThreadPoolExecutor(max_workers=4) tasks = [task1, task2, task3, task4, task5] # 任务列表 # 向线程池提交任务 futures = [pool.submit(do_task, task) for task in tasks] # 等待所有任务完成并获取结果 for future in concurrent.futures.as_completed(futures): result = future.result() # 处理任务结果 # 关闭线程池 pool.shutdown() ``` 以上是Python实现进程池和线程池的简单示例，实际使用时可以根据具体需求和任务类型进行适当的修改和优化。 ### 回答3： Python提供了multiprocessing模块来实现进程池和线程池。 1. 进程池示例： ```python import multiprocessing def worker(num): """模拟一个工作任务""" print(f'Worker {num} is processing') if __name__ == '__main__': # 创建进程池，最多同时运行3个进程 pool = multiprocessing.Pool(processes=3) # 向进程池中添加任务 for i in range(5): pool.apply_async(worker, args=(i,)) # 关闭进程池，不再接受新的任务 pool.close() # 等待所有任务完成 pool.join() ``` 上述示例中，我们使用`multiprocessing.Pool`创建了一个进程池，可以同时运行3个进程。然后，使用`pool.apply_async`方法向进程池中添加任务，每个任务由`worker`函数处理。最后，关闭进程池并等待所有任务完成。 2. 线程池示例： ```python import concurrent.futures def worker(num): """模拟一个工作任务""" print(f'Worker {num} is processing') if __name__ == '__main__': # 创建线程池，最多同时运行3个线程 with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor: # 向线程池中添加任务 for i in range(5): executor.submit(worker, i) ``` 上述示例中，我们使用`concurrent.futures.ThreadPoolExecutor`创建了一个线程池，可以同时运行3个线程。然后，使用`executor.submit`方法向线程池中添加任务，每个任务由`worker`函数处理。 以上就是Python中实现进程池和线程池的示例。通过使用进程池和线程池，我们可以并发地执行多个任务，提高程序的运行效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值