aiohttp实现多任务异步爬虫

先导包，

 import asyncio
 import time#时间计算
 import aiohttp#基于异步请求的模块

设置开始时间

 start=time.time()

设置url

 urls=[
     'http://127','http://127.0.y','http://127m'
 ]

定义函数，注意request模块发起的请求是基于同步的，必须使用基于异步的网络请求模块进行知道url的请求发送，因此使用aiohttp中的ClientSession,也就是

async with aiohttp.ClientSession() as session: async with await session.get(url) as response page_text=await response.text() print(page_text)

注意：text方法可以返回字符串形式的相应数据 read()返回的二进制形式的响应数据 json()返回的就是json对象

 async def get_page(url):
     async def get_page(url):   
         async with aiohttp.ClientSession() as session:
             async with await session.get(url) as response:
                 page_text=await response.text()
                 print(page_text)

定义一个空列表存放task

 tasks=[]

遍历urls列表，调用get_page函数，获取每个url对应的页面数据（协程对象）c，用future方法将协程对象封装到任务对象task中，随后将任务对象添加到任务列表中，最后创建时间循环，将tasks加入时间循环即可！

 for url in urls:
     c=get_page(url)
     task=asyncio.ensure_future(c)
     tasks.append(task)
 loop=asyncio.get_event_loop()
 loop.run_until_complete(asyncio.wait(tasks))
 ​
 end=time.time()
 print('总耗时',end-start)