异步爬取网站的图片

最新推荐文章于 2023-03-12 09:34:34 发布

hsc_1

最新推荐文章于 2023-03-12 09:34:34 发布

阅读量632

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/hsc_1/article/details/81288939

版权

本文介绍了如何使用新版aiohttp库异步爬取网站图片。相较于requests库，aiohttp通过ClientSession环境实现异步请求，提高了效率。在过程中，作者遇到图片加载慢和响应不正确的问题，通过检查响应头并设置Accept字段为'image/webp,image/apng,image/*'成功解决了问题。" 115728889,9168231,Golang Beego与Gorm数据库操作实战,"['Golang', '数据库', 'Gorm', 'Beego框架']

摘要由CSDN通过智能技术生成

看了好多文章，发送请求的代码都是aiohttp.request，但是这个似乎是老版本的。

新版本的改成了要用在aiohttp.ClientSession环境下使用session来发送请求。

import requests
import asyncio
import aiohttp
import random
import sys
import os


def get_proxy():
    resp = requests.get("http://127.0.0.1:5010/get/")
    return resp.text


ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv: 11.0) like Gecko",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
]
base_url = "http://fm.shiyunjj.com/2015/306/{}.jpg"
headers = {
    "Referer": "http://www.mmjpg.com/tag/rosi",
    "User-Agent": random.choice(ua_list),
}


async def get_img(url):
    for i in range(15):
        try:
            filename = url.split("/")[-1]
            # 设置总的请求时长，因为是免费ip，其有效性虽说经过判断有用，但是还是值得商榷的。所以设置了请求总的时长为3秒