Python爬虫从入门到精通:（19）多任务的异步爬虫实践，aiohttp的使用教程_Python涛哥

aiohttp，多任务的异步爬虫实践

这节课介绍下多任务的异步爬虫实践。

我们先运行下之前所写的Flask。课程地址：Flask

然后我们写一个多任务爬虫代码：

import requests
import asyncio
import time
from lxml import etree

urls = [
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom'
]

async def get_request(url):
    page_text = requests.get(url).text
    return page_text
  
# 解析函数的封装,也就是回调函数
def parse(t):
    # 获取请求到页面的源码数据
    page_text = t.result()
    tree = etree.HTML(page_text)
    parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
    print(parse_text)
    

if __name__ == '__main__':
    start = time.time()
    tasks = []
    for url in urls:
        c = get_request(url)
        task = asyncio.ensure_future(c)
        # 写完后增加回调函数
        task.add_done_callback(parse)
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    print(time.time() - start)

运行后，我们发现：代码运行时间是6秒（爬取一个页面是2秒），并没有实现异步。。。

这是什么原因呢？

原来requests本身就是一个不支持异步的模块。

那怎么办呢？

---

aiohttp

aiohttp就是requests的异步替代版，专门适合asyncio框架.是一个支持异步的网络请求模块.

安装：

pip install aiohttp

使用代码:

1. 先写出一个特大致的架构

   async def get_request(url):
       # 实例化好了一个请求对象
       with aiohttp.ClientSession() as sess:
           # 调用get发起请求，返回一个响应对象
           # get/post(url,headers,params/data,proxy="http://ip:port")
           with sess.get(url=url) as response:
               # 获取了字符串形式的响应数据
               page_text = response.text()
               return page_text
   

   2. 补充细节

      • 在阻塞操作前加上await关键字

      • 在每一个with前加上 async 关键字

      • 代码

        async def get_request(url):
            # 实例化好了一个请求对象
            async with aiohttp.ClientSession() as sess:
                # 调用get发起请求，返回一个响应对象
                # get/post(url,headers,params/data,proxy="http://ip:port")
                async with await sess.get(url=url) as response:
                    # text()是获取了字符串形式的响应数据
                    # read() 是获取byte类型的响应数据
                    page_text = await response.text()
                    return page_text
        

---

完整代码如下：

import asyncio
import time
import aiohttp
from lxml import etree

urls = [
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom'
]


# async def get_request(url):
#     # requests 是一个不支持异步的模块
#     page_text = requests.get(url).text
#     return page_text

async def get_request(url):
    # 实例化好了一个请求对象
    async with aiohttp.ClientSession() as sess:
        # 调用get发起请求，返回一个响应对象
        # get/post(url,headers,params/data,proxy="http://ip:port")
        async with await sess.get(url=url) as response:
            # text()是获取了字符串形式的响应数据
            # read() 是获取byte类型的响应数据
            page_text = await response.text()
            return page_text


# 解析函数的封装
def parse(t):
    # 获取请求到页面的源码数据
    page_text = t.result()
    tree = etree.HTML(page_text)
    parse_text = tree.xpath('//a[@id="feng"]/text()')[0]
    print(parse_text)


if __name__ == '__main__':
    start = time.time()
    tasks = []
    for url in urls:
        c = get_request(url)
        task = asyncio.ensure_future(c)
        # 写完后增加回调函数
        task.add_done_callback(parse)
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    print(time.time() - start)

这样我们就实现了异步爬虫！

多任务爬虫的数据解析

• 一定要使用任务对象的回调函数实现数据解析
• why:多任务的架构中数据的爬取是封装在特殊函数中，我们一定要保证数据请求结束后，再实现

数据解析

使用多任务的异步协程爬取数据实现套路:

• 可以先使用requests模块将待请求数据对应的url封装到一个列表中(同步)
• 可以使用aiohttp模式将列表中的url进行异步的请求和数据解析（异步）

关注