优雅的爬虫，睡眠插件

最新推荐文章于 2024-08-04 09:13:27 发布

公众号菜鸟童靴

最新推荐文章于 2024-08-04 09:13:27 发布

阅读量331

点赞数

分类专栏：爬虫逆向集合

本文链接：https://blog.csdn.net/bigboy_coder/article/details/107372878

版权

爬虫逆向集合专栏收录该内容

9 篇文章 27 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在爬虫中使用睡眠插件，以更优雅的方式避免对目标网站造成过大的请求压力。通过理解原理讲解的截图和详细的代码实现，读者将能够学习到如何在爬虫程序中合理地加入等待时间，提高爬虫的效率和稳定性。

摘要由CSDN通过智能技术生成

原理讲解截图：

代码实现：

from urllib import parse
from datetime import datetime
import time
import requests
from loguru import logger

class DelayWait(object):
    def __init__(self, delay=3):
        """
        初始化定义睡眠时间，请求相同一个网站的url，睡眠为3秒
        :param delay:
        """
        self.delay = delay
        self.urls = dict()

    def wait(self, url):
        """
        :param url:
        :return:
        """
        netloc = parse.urlparse(url).netloc#获取网站域名
        last_one = self.urls.get(netloc)#判断当前访问url域名是否存在ÿ

了解本专栏