异步爬虫
- 目的:在爬虫中使用异步实现
- 实现方式:
- 多进程,多线程(不建议)
- 好处:可以为相关阻塞单独开启线程或者进程,阻塞操作就可以异步执行
- 弊端:无法无限制开启多线程或者多进程
- 进程池:(适当使用)
- 好处:可以减低系统对进程创建和销毁的一个频率,从而很好的减低系统的开销
- 弊端:进程池线程或进程的数量是有限的
- 实例:
import time from multiprocessing.dummy import Pool start_time=time.time() def get_page(str): print('正在下载:',str) time.sleep(2) print('下载成功',str) name_list=['aa','bb','cc'] #实例化线程池对象 pool=Pool(4) #将每一个name_list里面的数据传递给get_page处理 pool.map(get_page,name_list) end_time=time.time() print("%d second"%(end_time-start_time))
- 单线程+异步协程(推荐)
- event_loop:事侏循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行。
- coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。我们可以使用async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
- task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
- future:代表将来执行或还没有执行的任务,实际上和task没有本质区别.
- async定义一个协程.
- await用来挂起阻塞方法的执行。
- 协程用法:
import asyncio async def request(url): print('正在请求:',url) print('请求成功:',url) return url #asunc修饰的函数,调用之后返回一个协程对象 c=request('www.baidu.com') #创建一个事件循环对象 # loop=asyncio.get_event_loop() # #将协程对象注册到loop中,然后启动loop # loop.run_until_complete(c) #task使用 loop=asyncio.get_event_loop() #基于loop创建了一个task对象 # task=loop.create_task(c) # print(task) # loop.run_until_complete(task) #future使用 # loop=asyncio.get_event_loop() # task=asyncio.ensure_future(c) # print(task) # loop.run_until_complete(task) # print(task) def callback_func(task): #打印协程函数的返回值 print(task.result()) #绑定回调 loop=asyncio.get_event_loop() task=asyncio.ensure_future(c) # 将回调函数绑定到任务对象中 task.add_done_callback(callback_func) loop.run_until_complete(task)
- 协程实例:
import asyncio import time async def request(url): print('正在下载',url) #在异步协程中如果出现了同步模块相关的代码,那么久无法实现异步 # time.sleep(2) #当在asyncio中欲打破阻塞操作时必须进行手动挂起 await asyncio.sleep(2) print('下载完毕',url) start=time.time() urls=[ 'www.baidu.com', 'www.sogou.com', 'www.goubanjia.com' ] stasks=[] for url in urls: c=request(url) task=asyncio.ensure_future(c) stasks.append(task) loop=asyncio.get_event_loop() #多任务列表要封装wait() loop.run_until_complete(asyncio.wait(stasks)) print(time.time()-start)
- 协程aiohttp模块
- 模块安装:pip install aiohttp
- 实现异步爬虫
import requests import asyncio import time import aiohttp # 使用该模块的ClientSession start=time.time() urls=[ 'http://baidu.com', 'http://sogou.com', 'http://baidu.com', ] async def get_page(url): print('正在下载',url) # requests模块基于同步 # aiohttpj基于异步网络请求 # response=requests.get(url=url) async with aiohttp.ClientSession() as session: # async with await session.post(url) as response:post请求 # UA伪装方式和请求参数处理以及代理ip和requests库一样,但ip赋值为字符串,不再是字典 async with await session.get(url) as response: # text()返回字符串的响应数据 # read()返回的是二进制的响应数据 # json()返回的就是json类型的数据 # 注意:在获取响应数据之前一定要使用await进行手动挂起 page_text=await response.text() print('下载完毕', page_text) tasks=[] for url in urls: c=get_page(url) task=asyncio.ensure_future(c) tasks.append(task) loop=asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) print(time.time()-start)
- 多进程,多线程(不建议)