python 多协程多并发gevent模块教程

gevent可以让代码在同一时间执行更多的逻辑，gevent也是爬虫中常用的第三方库。

安装gevent库

pip install gevent

# -*- coding: utf-8 -*-
from gevent.queue import Queue
import gevent
import time
from gevent import monkey

monkey.patch_all()  # 猴子补丁


class TestGevent():
    def __init__(self):
        self.work = Queue()  # 创建队列

    # 添加队列
    def putQueue(self):
        for i in range(10000):
            self.work.put_nowait(i)  # 将 i 添加到队列内

    # 取出队列内容
    def getQueue(self):
        while not self.work.empty():  # 如果队列不为空
            i = self.work.get_nowait()
            time.sleep(1)  # 假设每次请求需要1s
            print(i)

    # 执行程序
    def run(self):
        self.putQueue()

        taskList = []
        for i in range(5):  # 循环几次，相当于开了几个爬虫
            task = gevent.spawn(self.getQueue)  # 添加到协程队列里
            taskList.append(task)
        gevent.joinall(taskList)  # 使用协程来执行


if __name__ == '__main__':
    test = TestGevent()
    test.run()

让你的代码飞起来吧！