赞！一篇博客讲解清楚 Python queue模块，作为Python爬虫预备知识，用它解决采集队列问题_python 爬虫队列

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

其它常用方法

队列的基本使用参考上述即可，非常简单，其余的都为方法级的应用。

• q.qsize()：队列大小；
• q.empty()：判断队列是否为空；
• q.full()：判断队列是否为满；
• q.get_nowait()：等价于 q.get(False)，该方法使用参考上述取队列值部分内容；
• q.put_nowait(item)：等价于 q.put(item, False)；
• q.task_done()与 q.join()：这两个方法继续阅读后续内容。

q.task_done() 与 q.join() 方法

首先 SimpleQueue 是不支持 task_done 和 join 方法的，使用的时候需要注意下。

学习之前，先大概了解一下这两个方法的说明：

• task_done：表示队列中的元素已经被取出，即每个 get 获取一个元素之后，调用 task_done 告诉数据处理已经完成，如果被调用的次数大于队列中元素格式，引发 ValueError 异常；
• join：一直阻塞到队列中所有元素都被取出和执行，只要元素在不断的添加到 queue 中，join 就不会阻塞，也可以理解为需要等到队列为空，再执行别的操作。

如果看文字描述不容易理解，直接对比代码查阅，下述队列将被一直阻塞，原因是在第一个 put 之后，并没有调用 task_done 告知任务完成。

import queue

q = queue.Queue(3)
q.put('橡', block=True, timeout=5)
q.put_nowait('皮')
q.task_done()
print(q.get())
q.join()

解除阻塞的办法也非常简单，只需要在每次的 put 方法后面，增加一个 task_done 方法的调用即可。

import queue

q = queue.Queue(3)
q.put('橡', block=True, timeout=5)
q.task_done()
q.put_nowait('皮')
q.task_done()

print(q.get())
q.join()

如果理解起来还有困难，可以在参考下述案例：

import queue
q = queue.Queue()
q.put('橡')
q.put('皮')
q.put('擦')
for i in range(3):
    print(q.get())
    # 如果不执行 task\_done，join 会一直处于阻塞状态，等待 task\_done 告知它数据的处理已经完成
    # q.task\_done()
q.join()

官方手册还提供了一个多线程的案例提供参考，这里也为大家标记一下，并提供中文注释说明。

import threading, queue

# 初始化一个空队列，不限制长度
q = queue.Queue()

def worker():
    while True:
        item = q.get()
        print(f'正在执行： {item}')
        print(f'完成： {item}')
        # 发送任务完成的命令
        q.task_done()

# 开启多线程
threading.Thread(target=worker, daemon=True).start()

# 设置 30 个 put
for item in range(30):
    q.put(item)

print('所有的任务已经完成\n', end='')

# 阻塞，直到所有任务完成
q.join()
print('所有任务完成')

队列在爬虫应用上的落地

队列既然是线程之间常用的通讯方式，并且自带锁机制，那自然会被应用到爬虫采集中，一般是使用生产者消费者模式进行开发。

下述案例存在一个生产者【橡皮擦】，每间隔 5 秒制作一套课程，存在两个消费者，一直监听橡皮擦是否制作课程，当橡皮擦制作出课程之后，就进行购买：

from queue import Queue
import time
import threading

# 初始化一个队列
q = Queue(maxsize=0)


# 生产者
def producer(name):
    course_num = 1
    while True:
        q.put('制作的第 {} 套课程'.format(course_num))
        print("{} 制作的第 {} 套课程".format(name, course_num))
        course_num += 1
        time.sleep(5)


# 消费者
def consumer(name):
    while True:
        print('{} 购买了 {}'.format(name, q.get()))
        time.sleep(1)
        q.task_done()


# 开启三个进程
t1 = threading.Thread(target=producer, args=('橡皮擦',))
t2 = threading.Thread(target=consumer, args=('CSDN 账户 A',))
t3 = threading.Thread(target=consumer, args=('CSDN 账户 B',))

t1.start()
t2.start()
t3.start()

优先级队列

接下来在说明一下优先级队列，优先级队列出队列的顺序与优先级有关，所以在入队的时候，就需要将数据排好顺序。

import queue

q = queue.PriorityQueue(5)
q.put((5,'梦'))
q.put((4,'想'))
q.put((4,'橡'))
q.put((3,'皮'))
q.put((2,'擦'))


print(q.get())
print(q.get())
print(q.get())
print(q.get())
print(q.get())

输出顺序如下所示：

(2, '擦')
(3, '皮')
(4, '想')
(4, '橡')
(5, '梦')

读者福利：知道你对Python感兴趣，便准备了这套python学习资料

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）

👉Python必备开发工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！