python多线程爬虫爬取斗图啦网站表情包图片

最新推荐文章于 2022-06-06 15:11:52 发布

现在给爷爬，爬虫

最新推荐文章于 2022-06-06 15:11:52 发布

阅读量352

点赞数

分类专栏： python 爬虫文章标签： python 多线程队列 xpath

本文链接：https://blog.csdn.net/bupaipython/article/details/106585258

版权

如题：这次来个真正的多线程版本。
估计也没人看，如果有感兴趣的或者不懂的可以留言。有目前正在学爬虫的也可以交流。

import threading
import requests
from lxml import etree
import urllib
import re
from queue import Queue

path = 'D:/壁纸/python/斗图啦-多线程版本/'  # 设置图片的存储路径


class Producer(threading.Thread):
    headers = {
   
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36",
        }

    def __init__(self, page_queue, img_queue, *args, **kwargs):
        super(Producer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.img_queue = img_queu