php 线程池 thread,python线程池threadpool使用篇

这篇文章主要为大家详细介绍了python线程池threadpool的使用方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

最近在做一个视频设备管理的项目，设备包括(摄像机，DVR,NVR等)，包括设备信息补全，设备状态推送，设备流地址推送等，如果同时导入的设备数量较多，如果使用单线程进行设备检测，那么由于设备数量较多，会带来较大的延时，因此考虑多线程处理此问题。

可以使用python语言自己实现线程池，或者可以使用第三方包threadpool线程池包，本主题主要介绍threadpool的使用以及其里面的具体实现。

1、安装

使用安装:

pip installthreadpool

2、使用

(1)引入threadpool模块

(2)定义线程函数

(3)创建线程 池threadpool.ThreadPool()

(4)创建需要线程池处理的任务即threadpool.makeRequests()

(5)将创建的多个任务put到线程池中,threadpool.putRequest

(6)等到所有任务处理完毕theadpool.pool()

import threadpool

def ThreadFun(arg1,arg2):

pass

def main():

device_list=[object1,object2,object3......,objectn]#需要处理的设备个数

task_pool=threadpool.ThreadPool(8)#8是线程池中线程的个数

request_list=[]#存放任务列表

#首先构造任务列表

for device in device_list:

request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})]))

#将每个任务放到线程池中，等待线程池中线程各自读取任务，然后进行处理，使用了map函数，不了解的可以去了解一下。

map(task_pool.putRequest,request_list)

#等待所有任务处理完成，则返回，如果没有处理完，则一直阻塞

task_pool.poll()

if __name__=="__main__":

main()

上面就是一个具体的线程池的使用流程

threadpool具体的定义如下：

class ThreadPool:

"""A thread pool, distributing work requests and collecting results.

See the module docstring for more information.

"""

def __init__(self, num_workers, q_size=0, resq_size=0, poll_timeout=5):

pass

def createWorkers(self, num_workers, poll_timeout=5):

pass

def dismissWorkers(self, num_workers, do_join=False):

pass

def joinAllDismissedWorkers(self):

pass

def putRequest(self, request, block=True, timeout=None):

pass

def poll(self, block=False):

pass

def wait(self):

pass

下一节会详细介绍上面的整个流程以及每个函数：python 线程池threadpool(实现篇)

相关推荐：