python多进程爬虫与多线程爬虫模板

多进程爬虫

不需要也没必要过多解释，不懂的可以看我python学习笔记专栏关于多线程与多进程的介绍

# 多线程模块
from concurrent.futures import ThreadPoolExecutor
# 队列模块
from multiprocessing import Queue
queue_list = Queue()

def init():
    [queue_list.put(i) for i in range(5)]

def test(data):
    print(data)


if __name__ == '__main__':
    init()
    pool = ThreadPoolExecutor(max_workers=20)
    while queue_list.qsize() > 0:
        pool.submit(test,queue_list.get())

多线程爬虫

来看我这篇博客吧
https://blog.csdn.net/m0_46521785/article/details/109163862