python队列和线程池

锁能解决变量的共享的问题，但是不常见，锁住别人干嘛，咱们不如来好好的排下队。这样就不会死锁了，其实queue是自带锁。

队列

queue是python的标准库，俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3是小写的queue即可。

在python中，多个线程之间的数据是共享的，多个线程进行数据交换的时候，不能够保证数据的安全性和一致性，所以当多个线程需要进行数据交换的时候，队列就出现了，队列可以完美解决线程间的数据交换，保证线程间数据的安全性和一致性(简单的来说就是多线程需要加锁，很可能会造成死锁，而queue自带锁。所以多线程结合queue会好的很多。

导入：from queue import Queue

我们还是先看一个案例。queue 就是一个put和get两个操作，一个走开一个进入。

import time
from queue import Queue
from threading import Thread
from random import randint
# 3个队列
my_queue = Queue(3)
def f1(my_queus):
    for i in range(3):
        time.sleep(1)
        num = randint(0,10)
        print(num)
        my_queue.put(num)


def f2(my_queus):
    for i in range(3):
        time.sleep(1)
        num = my_queue.get()
        print(num)

t1 = Thread(target=f1,args=(my_queue,))
t2 = Thread(target=f2,args=(my_queue,))
t1.start()
t2.start()
t1.join()
t2.join()

执行一下，randint是随机在0-10取一个数。

10
10
3
3
5
5

这样就是进一个出一个。

queue还有下面的用法，不说了

线程池

线程多了，是不是要给一个池放在一起比较好，所以 线程池就出来了。这样有任务了，我找一个线程来干活。

使用的是 multiprocessing这个标准库，ThreadPool这个类比之前的Thread这个类多了Pool。

来看demo，用这个ThreadPool。ThreadPool(3)就是在线程池中有3个线程，apply_async就是分配任务，传入的是一个函数

from multiprocessing.pool import ThreadPool
import time
def hello(name):
    print('hello,{}'.format(name))
    time.sleep(2)
    print('Bye')

t = ThreadPool(3)
for i in range(3):
    t.apply_async(hello,args=(i,))

t.close()
t.join()

我们来运行下

OUT：
几乎一起完成
hello,0 hello,1 hello,2
几乎一起完成
Bye Bye Bye

三个线程一起干活，每一个线程完成我们的hello任务，最后一起完成了。

上面我们使用的for i in range的方法执行任务，因为任务相同，传入的参数也相同。

我们再看最后一个，传入args, *kwargs参数

from multiprocessing.pool import ThreadPool
import time
​
pool = ThreadPool(2)
​
def task1():
    time.sleep(1)
    print("任务1完成")

def task2(*args,**kwargs):
    time.sleep(1)
    print("任务2完成:",args,kwargs)

pool.apply_async(task1)
pool.apply_async(task2,args=(1,2),kwds={'a':1,'b':2})
print("任务提交完成")
pool.close()
pool.join()
print("任务完成")

执行如下：

任务提交完成
任务1完成
任务2完成:(1, 2) {'a': 1, 'b': 2}
任务完成

对于进程和线程就到这里，使用进程和线程，就是在爬虫中，可以提高爬虫速度，就没了。

文源网络，仅供学习之用，如有侵权，联系删除。

我将优质的技术文章和经验总结都汇集在了我的公众号【Python圈子】里。

在学习Python的道路上肯定会遇见困难，别慌，我这里有一套学习资料，包含40+本电子书，600+个教学视频，涉及Python基础、爬虫、框架、数据分析、机器学习等，不怕你学不会！还有学习交流群，一起学习进步~