aiohttp,多任务的异步爬虫实践
这节课介绍下多任务的异步爬虫实践。
我们先运行下之前所写的Flask。课程地址:Flask
然后我们写一个多任务爬虫代码:
import requests
import asyncio
import time
from lxml import etree
urls = [
'http://127.0.0.1:5000/bobo',
'http://127.0.0.1:5000/jay',
'http://127.0.0.1:5000/tom'
]
async def get_request(url):
page_text = requests.get(url).text
return page_text
# 解析函数的封装,也就是回调函数
def parse(t):
# 获取请求到页面的源码数据
page_text = t.result()
tree = etree.HTML(page_text)
parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
print(parse_text)
if __name__ == '__main__':
start = time.time()
tasks = []
for url in urls:
c = get_request(url)
task = asyncio.ensure_future(c)
# 写完后增加回调函数
task.add_done_callback(parse)
tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start)
运行后,我们发现:代码运行时间是6秒(爬取一个页面是2秒),并没有实现异步。。。
这是什么原因呢?
原来requests
本身就是一个不支持异步的模块。
那怎么办呢?
aiohttp
aiohttp
就是requests的异步替代版,专门适合asyncio
框架.是一个支持异步的网络请求模块.
安装:
pip install aiohttp
使用代码:
-
先写出一个特大致的架构
async def get_request(url): # 实例化好了一个请求对象 with aiohttp.ClientSession() as sess: # 调用get发起请求,返回一个响应对象 # get/post(url,headers,params/data,proxy="http://ip:port") with sess.get(url=url) as response: # 获取了字符串形式的响应数据 page_text = response.text() return page_text
-
补充细节
-
在阻塞操作前加上await关键字
-
在每一个with前加上 async 关键字
-
代码
async def get_request(url): # 实例化好了一个请求对象 async with aiohttp.ClientSession() as sess: # 调用get发起请求,返回一个响应对象 # get/post(url,headers,params/data,proxy="http://ip:port") async with await sess.get(url=url) as response: # text()是获取了字符串形式的响应数据 # read() 是获取byte类型的响应数据 page_text = await response.text() return page_text
-
-
完整代码如下:
import asyncio
import time
import aiohttp
from lxml import etree
urls = [
'http://127.0.0.1:5000/bobo',
'http://127.0.0.1:5000/jay',
'http://127.0.0.1:5000/tom'
]
# async def get_request(url):
# # requests 是一个不支持异步的模块
# page_text = requests.get(url).text
# return page_text
async def get_request(url):
# 实例化好了一个请求对象
async with aiohttp.ClientSession() as sess:
# 调用get发起请求,返回一个响应对象
# get/post(url,headers,params/data,proxy="http://ip:port")
async with await sess.get(url=url) as response:
# text()是获取了字符串形式的响应数据
# read() 是获取byte类型的响应数据
page_text = await response.text()
return page_text
# 解析函数的封装
def parse(t):
# 获取请求到页面的源码数据
page_text = t.result()
tree = etree.HTML(page_text)
parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
print(parse_text)
if __name__ == '__main__':
start = time.time()
tasks = []
for url in urls:
c = get_request(url)
task = asyncio.ensure_future(c)
# 写完后增加回调函数
task.add_done_callback(parse)
tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start)
这样我们就实现了异步爬虫!
多任务爬虫的数据解析
- 一定要使用任务对象的回调函数实现数据解析
- why:多任务的架构中数据的爬取是封装在特殊函数中,我们一定要保证数据请求结束后,再实现
数据解析
使用多任务的异步协程爬取数据实现套路:
- 可以先使用requests模块将待请求数据对应的url封装到一个列表中(同步)
- 可以使用aiohttp模式将列表中的url进行异步的请求和数据解析(异步)
关注