Python学习笔记 - aiohttp

最新推荐文章于 2024-06-13 15:01:24 发布
最新推荐文章于 2024-06-13 15:01:24 发布
阅读量229 收藏
点赞数
原文链接：https://juejin.im/post/5c4ff008f265da617831cb68
版权

上一个笔记总结了asyncio的一些知识点，这次就来应用一下。如果使用协程的方式来写爬虫，网络相关的请求就要将requests库替换成aiohttp这个库。

一. 效率对比

  1. 用上次写的爬虫，先爬一些壁纸链接

    urls = [
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-729560.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-724055.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716644.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716643.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716645.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686220.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686212.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-652608.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639894.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639893.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639892.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639890.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639888.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-468197.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467016.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467012.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467009.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467007.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467005.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466997.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466998.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466993.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466994.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466995.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-729560.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-724055.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716644.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716643.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716645.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686220.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686212.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-652608.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639894.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639893.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639892.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639890.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639888.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-468197.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467016.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467012.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467009.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467007.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467005.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466997.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466998.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466993.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466994.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466995.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466992.jpg",
    "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466989.jpg"
]
复制代码

  2. 用协程的方式下载这些图片

    • 安装aiohttp库

    • 根据文档，aiohttp库发起请求使用的是aiohttp.ClientSession()，文档建议不用每次请求都创建一个session会话，所以这里就只创建一个：

      async def main():
    async with aiohttp.ClientSession() as session:
        pass
复制代码

    • 定义下载图片的协程函数和创建储存路径的函数：

      # 下载图片
async def download_img(session, url):
    image_name = url.split('/')[-1]
    async with session.get(url, headers=headers) as response:
        with open('%s/%s' % (get_store_path('city'), image_name), 'wb') as fd:
            while True:
                chunk = await response.content.read(200)
                if not chunk:
                    break
                fd.write(chunk)
复制代码
      # 获取图片储存路径，如果没有则创建
def get_store_path(dir_name):
    current_path = os.path.abspath('.')
    target_path = os.path.join(current_path, 'wallpaper/%s' % dir_name)
    folder = os.path.exists(target_path)
    if not folder:
        os.makedirs(target_path)

    return target_path
复制代码

    • 补全main函数

      async def main(loop):
    async with aiohttp.ClientSession() as session:
        tasks = [loop.create_task(download_img(session, url)) for url in urls]
        await asyncio.wait(tasks)
        
loop = asyncio.get_event_loop()
loop.run_until_complete(main(loop))
loop.close()
复制代码

    • 计算下载耗时：

      if __name__ == '__main__':
    t1 = time.time()
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main(loop))
    loop.close()
    print('耗时：%fs' % (time.time() - t1))
复制代码

    • 结果：

      26张图片用时1.476328s

  3. 使用多进程方式下载

     import requests
 import multiprocessing
 import os
 import time


 urls = [
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-729560.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-724055.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716644.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716643.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716645.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686220.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686212.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-652608.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639894.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639893.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639892.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639890.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639888.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-468197.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467016.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467012.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467009.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467007.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467005.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466997.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466998.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466993.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466994.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466995.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-729560.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-724055.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716644.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716643.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-716645.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686220.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-686212.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-652608.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639894.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639893.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639892.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639890.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-639888.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-468197.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467016.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467012.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467009.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467007.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-467005.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466997.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466998.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466993.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466994.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466995.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466992.jpg",
     "https://alpha.wallhaven.cc/wallpapers/thumb/small/th-466989.jpg"
 ]

 req_session = requests.Session()
 req_session.headers['user-agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'


 def get_store_path(dir_name):
     current_path = os.path.abspath('.')
     target_path = os.path.join(current_path, 'wallpaper/%s' % dir_name)
     folder = os.path.exists(target_path)
     if not folder:
         os.makedirs(target_path)

     return target_path


 def download_img(url):
     img = req_session.get(url, stream=True)
     image_name = url.split('/')[-1]
     with open('%s/%s' % (get_store_path('city'), image_name), 'wb') as fd:
         for chunk in img.iter_content(chunk_size=128):
             fd.write(chunk)


 def main():
     p = multiprocessing.Pool()
     [p.apply_async(download_img, args=(url,)) for url in urls]
     p.close()
     p.join()

 if __name__ == '__main__':
     t1 = time.time()
     main()
     print('耗时：%fs' % (time.time() - t1))

复制代码

    结果

两种我都执行了多次，差不多都在1.4~2.7s之间，可以看到协程还是很强大的，仅仅用单线程就做到了类似多进程的效果。

转载于:https://juejin.im/post/5c4ff008f265da617831cb68

weixin_34128237
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
aiohttp模块1 client
weixin_30263277的博客
03-20 544
aiohttp模块1 client Make a Request import aiohttp async with aiohttp.ClientSession() as session: async with session.get('https://api.github.com/events') as resp: ...
aiohttp 简易使用教程
getcomputerstyle的博客
05-10 3万+
0. 前言 本文翻译自aiohttp的官方文档，如有纰漏，欢迎指出。 aiohttp分为服务器端和客户端，本文只介绍客户端。 由于上下文的缘故，请求代码必须在一个异步的函数中进行： async def fn(): pass 1. aiohttp安装 pipinstall aiohttp 1.1. 基本请求用法 async with aioh...
python requests/aiohttp 请求 sse 接口方法
最新发布
weixin_44144647的博客
06-13 265
【代码】python requests/aiohttp 请求 sse 接口方法。
（异步爬虫）requests和aiohttp中代理IP的使用
热门推荐
向日葵的专属太阳
11-11 7万+
（异步爬虫）requests和aiohttp中代理IP的使用 爬虫要想爬的好，IP代理少不了。。现在网站基本都有些反爬措施，访问速度稍微快点，就会发现IP被封，不然就是提交验证。下面就两种常用的模块来讲一下代理IP的使用方式。话不多说，直接开始。 requests中代理IP的使用： requests中使用代理IP只需要添加一个proxies参数即可。proxies的参数值是一个字典，key是代理协议（http/https），value就是ip和端口号，具体格式如下。 try: response =
好看的桌面壁纸网站
henucm的博客
08-22 1516
Wallhaven：https://alpha.wallhaven.cc/ Unsplash：https://unsplash.com/ Pexels：https://www.pexels.com/ Desktopography：http://desktopography.net/ huaban：https://huaban.com/ wallpapermaiden：https://www....
10个值得珍藏的4K高清壁纸网站推荐
weixin_64948861的博客
10-17 2万+
作为打开电脑 or 手机第一眼就看到的桌面，给它设置一个赏心悦目的桌面壁纸还是必不可少的。下面分享了 10 个值得珍藏的高清桌面壁纸网站，支持各种图片比例和分辨率，从 720P 到 4K、8K 应有尽有，电脑和手机都可以使用。高清桌面壁纸网站。
python爬虫-mast笔记
05-31
在本篇Python爬虫-mast笔记中，我们将深入探讨Python爬虫的基本概念、常用库和实战技巧，帮助你掌握这一强大的数据获取工具。 首先，Python之所以在爬虫领域广泛应用，得益于其简洁明了的语法和丰富的第三方库。...
Python网络爬虫与信息提取-学习笔记.zip
02-21
本学习笔记将深入探讨Python在爬虫领域的应用，帮助读者掌握从抓取网页到提取信息的全过程。 一、Python基础 Python是爬虫开发的首选语言，其简洁的语法和丰富的库支持使得爬虫编写变得高效。你需要了解Python的...
Python学习笔记，包含python基础学习+爬虫案例代码.zip
02-21
这份“Python学习笔记，包含python基础学习+爬虫案例代码”的资料包，是为那些希望深入理解和掌握Python编程以及网络爬虫技术的学习者精心准备的。 Python基础学习部分可能涵盖了以下几个关键知识点： 1. **变量与...
2019Python爬虫超完整教程.rar
09-01
2019Python爬虫超完整教程包含了丰富的学习资源，包括教程、笔记和作业，旨在帮助初学者全面掌握Python爬虫技术。在这个教程中，你将能够学到以下几个关键的知识点： 1. **基础语法与环境搭建**：首先，你需要了解...
用于python爬虫学习.zip
02-22
"用于python爬虫学习.zip"这个压缩包很可能包含了一系列的教程、代码示例或者练习项目，旨在帮助初学者或进阶者掌握Python爬虫的基本技能和高级技巧。 Python爬虫的基础知识包括以下几个方面： 1. **基础编程语言*...
python定向爬取wallhaven壁纸
qq_38338669的博客
08-02 6368
首先，大神自觉绕道。。。。 以下正文 最近刚学python,突然想做个爬取壁纸的小demo 我这里爬取的是wallpaper上的一些图片，网址如下 https://alpha.wallhaven.cc/ 进入wallpaper后我们随机点击一张图片 查看多次后很容易就联想到末尾的数字和图片名有关 接下来查看一下源码 通过查看多个图片，发现这些图片基本都以jpg和png为后缀...
11个值得珍藏的4K高清壁纸网站推荐
夜空繁星VV
01-06 6万+
前言 由于前几天因需求须找一些视觉素材，翻来覆去整了一些，整理了10个图片素材网站可以给大家收藏使用＆ 作为打开电脑 or 手机第一眼就看到的桌面，给它设置一个赏心悦目的桌面壁纸还是必不可少的。 下面分享了 10 个值得珍藏的高清桌面壁纸网站，支持各种图片比例和分辨率，从 720P 到 4K、8K 应有尽有，电脑和手机都可以使用。 高清桌面壁纸网站 1. Awesome Wallpapers - wallhaven.cc 官网：https://alpha.wallhaven.cc/ ..
爬取wallheaven壁纸
TGYAO的博客
12-22 2284
爬取的网址为 https://wallhaven.cc/toplist。在首页中F12检查html。在详情页中检查html。
python---aiohttp的使用
weixin_30539835的博客
06-25 322
1.aiohttp的简单使用(配合asyncio模块) import asyncio,aiohttp async def fetch_async(url): print(url) async with aiohttp.request("GET",url) as r: reponse = await r.text(encoding="utf-8")　...
python下载夏目友人帐
weixin_33734785的博客
02-28 1232
一般情况下我们使用爬虫更多的应该是爬数据或者图片吧,今天在这里和大家分享一下关于使用爬虫技术来进行视频下载的方法,不仅可以方便的下载一些体积小的视频,针对大容量的视频下载同样试用。 先上个
Respose 对象的 iter_content()方法
老胡的博客
03-14 1万+
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
aiohttp 异步http请求-5.下载大文件边下载边保存（节省内存）
qq_27371025的博客
04-23 4440
前言 当从网络上下载小文件时，比如一张图片，可以直接用response.read() 来读取返回的数据流文件。 但是当下载一个几百兆，几千兆的文件会占用很大的内存，为了减少内存的占用可以一边读取一边下载的方式。 流式响应内容 平常返回的response 对象，使用read()， json()和且text()非常方便，但是需谨慎使用它们。所有这些方法都将整个响应加载到内存中。 例如，如果您要下载几个千兆字节大小的文件，这些方法将加载内存中的所有数据。相反，您可以使用该content 属性。它是aiohttp.
python学习笔记--皮大庆
08-14
《Python学习笔记》是由皮大庆编写的一本关于Python语言学习的教材。在这本书中，作者详细介绍了Python语言的基础知识、语法规则以及常用的编程技巧。 首先，作者简要介绍了Python语言的特点和优势。他提到，Python...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值