asyncio+aiohttp+aiofiles实现异步下载妹子图片

最新推荐文章于 2024-08-09 14:10:18 发布

weixin_34186128

最新推荐文章于 2024-08-09 14:10:18 发布

阅读量5.1k

点赞数 3

文章标签： python

原文链接：https://juejin.im/post/5d073e6ce51d45777621bb82

版权

这篇博客介绍了如何使用Python的asyncio, aiohttp和aiofiles库进行异步下载，以提高效率。作者在实践中感受到异步代码与同步代码混杂的问题，希望能得到改进的建议。" 125280743,14333434,Java多线程与事务控制优化：批量操作的秘密,"['Java开发', '数据库管理', '并发编程']

摘要由CSDN通过智能技术生成

因为不熟悉的缘故，总觉得写的不好，一种异步代码与同步代码参杂着的感觉，希望能够得到指点。

import os
import re

import aiofiles
import aiohttp
import asyncio
from lxml import etree


# 发请求获取html文本
async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()


# 解析html获取每组的列表页链接
async def parser(html):
    tree = etree.HTML(html)
    pic_href_list = tree.xpath('//*[@class="listbox"]/a/@href')
    pic_title_list = tree.xpath('//*[@class="listbox"]/a/@title')
    for href, title in zip(pic_href_list, pic_title_list):
        path_id = re.findall('\d