Session提高requests的抓取速度小技巧

使用requests抓取数据的时候，爬虫会模拟浏览器的行为，但是可能不知道，当打开一个网页的时候，requests.get()可能速度很快，但是如果几十个上百个网址的时候呢，这个差距就出来了，例如下面。

import requests
import time

start = time.time()

for _ in range(100):
    resp = requests.get('https://baidu.com').content.decode()
end = time.time()
print(f'访问一百次网页，耗时：{end - start}')

结果是用时20s，时间太长了，如果网站更多，那就更久。但是我们可以改变一下。

import requests
import time

start = time.time()
session = requests.Session()
for _ in range(100):
    resp = session.get('https://baidu.com').content.decode()
end = time.time()
print(f'访问一百次网页，耗时：{end - start}')

结果是用时5S，怎么样这速度就提升了很大了吧，主要就是Session()方法是，爬虫在模拟浏览器的时候，打开另一个网址是相当于重新开了一个窗口用来访问，并不是重新开一个浏览器去访问。这样爬虫不仅行为更像人类，而且节省了很多爬虫后台模拟打开浏览器的行为所浪费的时间。