python协程池爬虫_让你的爬虫效率提升40倍 python 多进程+协程 爬虫

多进程

关于多进程爬虫和多进程方面的知识可以参考崔庆才的博客和python文档

协程

关于协程的介绍，强烈推荐大家看看这份指南

由于GIL的原因，python解释器中总是只有一个线程存在，因此很难利用多线程来达到并行的目的。但多进程并不受此限制，因此我们可以利用python中的多进程来达到并行的目的。同时，我们可以在每个进程中使用协程来实现异步的处理。综上，我们可以利用多进程+协程来极大的提升我们爬虫的效率。

导入模块

from multiprocessing import Pool, cpu_count

import requests

from gevent import monkey

from gevent.pool import Pool as ge_pool

from gevent.queue import Queue

import json

import copy

failed_urls = [] # 用于记录爬取失败的url，以备后续的继续爬取

finished_urls = [] # 用于记录爬取成功的url

分割url，在这里大家需要提前准备好自己的url，因为作者是先爬取了所有所需网页的url后，再来爬取每个url的内容的

def split_urls(urls):

if not urls:

print('no url in urls')

return [urls]

num_urls = len(urls)

num_cpus = cpu_count()

if num_urls < num_cpus:

return [urls]

num_urls_per_cpu = int(num_urls / num_cpus)

splitted_urls = []

for i in range(num_cpus):

if i == 0:

splitted_urls.append(urls[: (i + 1) * num_urls_per_cpu])

elif i == num_cpus - 1:

splitted_urls.append(urls[i * num_urls_per_cpu:])

else:

splitted_urls.append(urls[i * num_urls_per_cpu: (i + 1) * num_urls_per_cpu])

return splitted_urls

注意：在这里我们是根据自己机器的cpu核心数来划分url的，这样可以充分利用机器的cpu。不建议开启多于自己机器cpu核心数的线程数量，因为这会造成不必要的线程切换的时间上的浪费。

抓取网页

def crawling_web(url):

try:

res = requests.get(url, headers=headers, cookies=cookies, timeout=10)

data = json.loads(res.text).get('data')

print('success crawled {}'.format(url))

finished_urls.append(url)

except:

failed_urls.append(url)

print('fali to crawle {}'.format(url))

注意：由于作者所爬取的网页比较简单，得到的数据是以json格式展示的，所以不需要过多的处理，如果读者需要对爬取的网页做进一步的处理，可以另写一个处理的函数；读者需要自己准备好自己的headers和cookies以及proxies

协程

def greenlet_crawler(urls):

greenlet_pool = ge_pool(10)

for url in urls:

greenlet_pool.apply_async(crawling_web, (url, ))

greenlet_pool.join()

我们在这里使用了一个pool来维护10个协程，pool里面的协程异步的爬取网页。

多进程以及调度器

def scheduler(urls):

global failed_urls

failed_urls = []

splitted_urls = split_urls(urls)

process_pool = Pool(processes=cpu_count())

for urls in splitted_urls:

process_pool.apply_async(greenlet_crawler, (urls,))

process_pool.close()

process_pool.join()

if not failed_urls:

scheduler(copy.deepcopy(failed_urls))

scheduler中多进程部分的代码如下

process_pool = Pool(processes=cpu_count())

for urls in splitted_urls:

process_pool.apply_async(greenlet_crawler, (urls,))

process_pool.close()

process_pool.join()

我们开启了与自己机器cpu核心数相同的线程，并使用线程池来维护这些线程。

注意：因为我们无法保证每个网页都被成功抓取下来了，因此我们需要对抓取失败的url再次进行抓取，这里我们在sheduler中使用了递归的方式来保证失败的url会被再次抓取。

if __name__ == '__main__':

scheduler(urls)

结语: 只要我们能够保持线程的并行以及每个线程内部多个协程之间的异步，我们就可以使用多进程+协程的方式来大幅提升我们的爬虫的效率，作者使用这种方式相比于单线程的爬虫，速度的提升是20-40倍(当然每个人要面对的场景以及所使用的资源都不一样，这个速度的比值仅供参考)，最后还是推荐大家在爬虫的时候试试这种多进程+协程的方式。