使用requests、queue(队列)、threading 实现一个多线程爬虫

最新推荐文章于 2022-07-21 18:46:26 发布

qq_42847500

最新推荐文章于 2022-07-21 18:46:26 发布

阅读量740

点赞数

分类专栏：爬虫文章标签：多线程爬虫

本文链接：https://blog.csdn.net/qq_42847500/article/details/95608453

版权

本文介绍了如何使用requests库结合queue队列和threading模块来构建一个多线程爬虫，提高爬取糗事百科的效率。在从队列中取出数据并处理后，需调用task_down()方法。

摘要由CSDN通过智能技术生成

使用requests爬取糗事百科（多线程版）

使用多线程可以条爬虫效率
注意在从队列中取数据并完成操作之后要加上task_down()方法

import requests
from lxml import etree
import threading
from queue import Queue


class QiubaiSpider:
    def __init__(self):
        self.url = 'https://www.qiushibaike.com/8hr/page/{}/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
        }
        self.url_queue = Queue()
        self.html_queue = Queue()
        self.content_queue = Queue()

    def get_url_list(self):
        for i in range(1, 14):
            self.url_queue.put(self.url.format(i))

    def parse_url(self):
        while True:
            url = self.url_queue.get()
            print(url)
            response = requests.get(url, headers=self.headers)
            self.html_queue.put(respo