python gevent queue_python爬虫11：gevent queue

同步和异步的概念

image.png

异步：gevent库

image.png

image.png

image.png

from gevent import monkey

#从gevent库中导入monkey模块

monkey.patch_all()

#变为协作式运行，异步,注意：要在其他库和模块前把monkey模块导入进来

import gevent,time,requests

#导入geveng,time,requests库

start = time.time()

#记录程序开始时间

url_list = ['https://www.baidu.com/',

'https://www.sina.com.cn/',

'http://www.sohu.com/',

'https://www.qq.com/',

'https://www.163.com/',

'http://www.iqiyi.com/',

'https://www.tmall.com/',

'http://www.ifeng.com/']

#8个网站封装成列表

def crawler(url):

r = requests.get(url)

print(url,time.time()-start,r.status_code)

#定义函数，用requests.get爬取网站，然后打印网址、运行时间、状态码

tasks_list = []

#创建空任务列表

for url in url_list:

task = gevent.spawn(crawler,url)

tasks_list.append(tasks_list)

#遍历网址，用gevent.spawn()函数创建任务，添加到任务列表中

gevent.joinall(tasks_list)

#执行任务列表里的所有任务，开始爬虫

end = time.time()

#记录程序结束时间

print(end-start)

多协程，是非抢占式的异步方法，使用多协程，能让多个爬虫用异步方式交替执行

多协程：Queue

image.png

image.png

from gevent import monkey

#从gevent库导入monkey模块

monkey.patch_all()

#创建协作式运行，异步

import gevent,time,requests

#引入gevent,time,requests库

from gevent.queue import Queue

#从gevent库里导入queue模块

start = time.time()

#记录开始时间

url_list = ['https://www.baidu.com/',

'https://www.sina.com.cn/',

'http://www.sohu.com/',

'https://www.qq.com/',

'https://www.163.com/',

'http://www.iqiyi.com/',

'https://www.tmall.com/',

'http://www.ifeng.com/']

work = Queue()

#创建列表对象，并赋值给work

for url in url_list:

work.put_nowait(url)

#遍历网址列表，把网址放进队列里

def crawler():

while not work.empty():

url = work.get_nowait()

r = requests.get(url)

print(url,work.qsize(),r.status_code)

#创建函数，当队列不为空时，从队列网址列表中取出，用requests.get()抓取网址，并打印网址、队列长度、状态码

tasks_list = []

#创建空任务列表

for x in range(2):

task = gevent.spawn(crawler)

tasks_list.append(task)

#创建了2个爬虫，用gevent.spawn()函数创建执行crawler()函数的任务，并添加到任务列表

gevent.joinall(tasks_list)

#用gevent.joinall方法，执行列表中所有任务，开始爬虫

end = time.time()

print(end-start)