aiohttp使用

import requests
import re
import time
from lxml import etree
# 导入线程池模块对应的类
from multiprocessing.dummy import Pool
import asyncio
# 使用该模块中的一个ClienSession对象进行网络化请求
import aiohttp

start = time.time()
urls = [
    'www.baidu.com', 'www.csdn.com', 'www.bilibili.com'
]

async def get_page(url):
    # requests.get()是基于同步模块的代码，导致异步中断,必须使用基于异步的网络请求模块
    # aiohttp:基于异步网络请求的模块
    # response = requests.get(url=url)
    # 所有的with前都要有async修饰
    async with aiohttp.ClientSession() as session:
        # 阻塞操作需要await挂起
        # get()、post()
        # headers自定义头信息UA伪装,params\data,proxy='//ip:port'(是一个字符串)
        async with await session.get(url) as response:
            # text()返回字符串形式的响应数据
            # read()返回二进制形式的响应数据
            # json()返回的就是json对象
            # 在获取响应数据之前一定要使用await进行手动挂起
            page_text = await response.text()
            print(page_text)

tasks = []

for url in urls:
    c = get_page(url)
    # 将协程对象封装到任务对象中
    task = asyncio.ensure_future(c)
    tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print(end-start)