Python由放弃到网络爬虫六：《多协程的用法（gevent库的使用）》

多协程的用法

偶得一不错的爬虫教程，现博客分享，想要获取完整教程，加V：ff17328081445。文章为系列文章，持续更新，欢迎关注。

gevent库的应用

多协程能实现“让多个爬虫替我们干活”。

#!/usr/bin/python3

from gevent import monkey
#从gevent库里导入monkey模块。

monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。

import gevent,time,requests
#导入gevent、time、requests。

start = time.time()
#记录程序开始时间。

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#把8个网站封装成列表。


def crawler(url):
#定义一个crawler()函数。

    r = requests.get(url)
    #用requests.get()函数爬取网站。
    
    print(url,time.time()-start,r.status_code)
      #打印网址、请求运行时间、状态码。

tasks_list = [ ]
#创建空的任务列表。

for url in url_list:
#遍历url_list。
    task = gevent.spawn(crawler,url)
    #用gevent.spawn()函数创建任务。
    tasks_list.append(task)
    #往任务列表添加任务。
gevent.joinall(tasks_list)
#执行任务列表里的所有任务，就是让爬虫开始爬取网站。
end = time.time()
#记录程序结束时间。
print(end-start)
#打印程序最终所需时间。

>>>>>>>>>>>>>>>>>>>>>>>>

http://www.sohu.com/ 0.24863862991333008 200
https://www.baidu.com/ 0.3429677486419678 200
https://www.163.com/ 0.3489682674407959 200
http://www.iqiyi.com/ 0.37999820709228516 200
https://www.qq.com/ 0.38628602027893066 200
https://www.sina.com.cn/ 0.3993980884552002 200
http://www.ifeng.com/ 0.4207603931427002 200
https://www.tmall.com/ 0.5082526206970215 200
0.5082526206970215

PS：#我们导入了gevent库来帮我们实现多协程，导入了time模块来帮我们记录爬取所需时间，导入了requests模块帮我们实现爬取8个网站。

queue模块

#当我们用多协程来爬虫，需要创建大量任务时，我们可以借助queue模块。
#queue翻译成中文是队列的意思。我们可以用queue模块来存储任务，让任务都变成一条整齐的队列，就像银行窗口的排号做法。
#因为queue其实是一种有序的数据结构，可以用来存取数据。

#!/usr/bin/python3
from gevent import monkey
#从gevent库里导入monkey模块。

monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。

import gevent,time,requests
#导入gevent、time、requests

from gevent.queue import Queue
#从gevent库里导入queue模块

start = time.time()

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']

work = Queue()
#创建队列对象，并赋值给work。
for url in url_list:
#遍历url_list
    work.put_nowait(url)
    #用put_nowait()函数可以把网址都放进队列里。

def crawler():
    while not work.empty():
    #当队列不是空的时候，就执行下面的程序。
    
        url = work.get_nowait()
        #用get_nowait()函数可以把队列里的网址都取出。
        
        r = requests.get(url)
        #用requests.get()函数抓取网址。
        
        print(url,work.qsize(),r.status_code)
        #打印网址、队列长度、抓取请求的状态码。

tasks_list  = [ ]
#创建空的任务列表
for x in range(2):
#相当于创建了2个爬虫

    task = gevent.spawn(crawler)
    #用gevent.spawn()函数创建执行crawler()函数的任务。
    
    tasks_list.append(task)
    #往任务列表添加任务。
    
gevent.joinall(tasks_list)
#用gevent.joinall方法，执行任务列表里的所有任务，就是让爬虫开始爬取网站。
end = time.time()
print(end-start)