Python技巧：如何提高爬虫速度？

今天在浏览知乎时，发现一个有趣的问题：

如何优化 Python 爬虫的速度？

他的问题描述是：

目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法？

这个问题还蛮多人关注的，但是回答的人却不多。

我今天就来尝试着回答一下这个问题。

程序提速这个问题其实解决方案就摆在那里，要么通过并发来提高单位时间内处理的工作量，要么从程序本身去找提效点，比如爬取的数据用gzip传输、提高处理数据的速度等。

我会分别从几种常见的并发方法去做同一件事情，从而比较处理效率。

简单版本爬虫

我们先来一个简单的爬虫，看看单线程处理会花费多少时间？

import time
import requests
from datetime import datetime


def fetch(url):
    r = requests.get(url)
    print(r.text)

start = datetime.now()

t1 = time.time()
for i in range(100):
    fetch('http://httpbin.org/get')

print('requests版爬虫耗时：', time.time() - t1)

# requests版爬虫耗时：54.86306357383728

我们用一个爬虫的测试网站，测试爬取100次，用时是54.86秒。

多线程版本爬虫