python百度网盘限速_人生不得已——Python爬虫 限速

下载限速

如果我们爬取网站的速度过快，就会面临被 封禁或是造成服务器过载的风险。

为了降低这些风险， 我们可以在两次下载之间添加延时，从而对爬虫限速。

方法： Throttle 类记录了每个域名上次访问的时间，如果当前时间距离上次

访问时间小于指定延时，则执行睡眠操作。 我们可以在每次下载之前调用

Throttle 对爬虫进行限速。

Throttle 类的实现

import urllib.parse

import time

import datetime

import re

import urllib.request

class Throttle:

def __init__(self, delay):

# 访问同域名时需要的间隔时间

self.delay = delay

# key:netloc,value:lastTime.记录每个域名的上一次访问的时间戳

self.domains = {}

# 计算需要的等待时间，并执行等待

def wait(self, url):

if self.delay <= 0:

print('delay ='+self.delay)

return

domain = urllib.parse.urlparse(url).netloc

lastTime = self.domains.get(domain)

if lastTime is not None:

# 计算等待时间

wait_sec = self.delay - (datetime.datetime.now() - lastTime).seconds

if wait_sec > 0:

time.sleep(wait_sec)

self.domains[domain] = datetime.datetime.now()

使用方式

在爬虫函数中

t = Throttle(0.5)

#在循环内

t.wait(url)