aiohttp.client_exceptions.ContentTypeError:python异步协程爬虫报错

问题:aiohttp.client_exceptions.ContentTypeError

当通过aiohttp进行某网游英雄皮肤内容获取时,查询到所有英雄都在一个json文件中,手动对该url进行请求,会自动下载此文件。

此时 并不想手动下载该json再对json文件进行读取,打算直接通过aiohttp模块进行请求。

import asyncio
import aiohttp  # 异步请求


class HeroSkin:
    def __init__(self):
        # 英雄列表
        self.herolist_api = 'https://pvp.qq.com/web201605/js/herolist.json'
        # 皮肤api
        self.heroskin_api = 'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{}/{}-bigskin-{}.jpg'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'
        }

    async def main(self):
        async with aiohttp.ClientSession() as session:
            async with session.get(url=self.herolist_api, headers=self.headers) as response:
                json_data = await response.json()
                print(json_data)


if __name__ == '__main__':
    h = HeroSkin()
    # asyncio.run(h.main())
    asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
    asyncio.run(h.main())

程序大概写完后,想查看一下能否读取到json内容,却发现出现以下错误:

aiohttp.client_exceptions.ContentTypeError: 0, message='Attempt to decode JSON with unexpected mimetype: application/octet-stream', url=URL('https://pvp.qq.com/web201605/js/herolist.json')

解决办法

报错信息为:内容的类型错误。

那就手动在 

json_data = await response.json()

这一行上添加 内容的类型。

json_data = await response.json(content_type=None)

如此问题解决。

import asyncio
import aiohttp  # 异步请求


class HeroSkin:
    def __init__(self):
        # 英雄列表
        self.herolist_api = 'https://pvp.qq.com/web201605/js/herolist.json'
        # 皮肤api
        self.heroskin_api = 'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{}/{}-bigskin-{}.jpg'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'
        }

    async def main(self):
        async with aiohttp.ClientSession() as session:
            async with session.get(url=self.herolist_api, headers=self.headers) as response:
                json_data = await response.json(content_type=None)
                print(json_data)


if __name__ == '__main__':
    h = HeroSkin()
    # asyncio.run(h.main())
    asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
    asyncio.run(h.main())

  • 7
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: aiohttp.client_exceptions.serverdisconnectederror: server disconnected 是指客户端与服务器的连接断开了。这可能是由于网络问题、服务器故障或客户端请求超时等原因导致的。要解决这个问题,可以尝试重新连接服务器、检查网络连接或调整客户端请求超时时间等措施。 ### 回答2: aiohttp.client_exceptions.serverdisconnectederror: server disconnected是一个Python中的错误,通常发生在使用aiohttp库建立客户端与服务器进行通信过程中。这个错误的原因可能是由于在客户端与服务器之间的连接被意外中断或关闭,导致服务器无法继续与客户端通信。 在大多数情况下,这个错误是由网络不稳定或者服务器处理端程序错误导致的。如果您在使用aiohttp库时遇到了aiohttp.client_exceptions.serverdisconnectederror: server disconnected错误,则可以尝试以下解决方法: 1. 检查网络连接是否正常。确保您的网络连接是稳定的,尝试一下重新连接网络后再次发起请求。 2. 检查服务器端程序是否存在错误。如果服务器端程序出现了问题,则可能会导致这个错误。您可以尝试联系服务器管理员或者更换服务器端程序来解决问题。 3. 检查您的代码。在使用aiohttp库时,您需要确保您的代码是正确的,不会出现逻辑错误或者异常,否则可能会导致连接中断。 总之,在遇到aiohttp.client_exceptions.serverdisconnectederror: server disconnected错误时,您需要考虑问题可能出在哪里,然后逐个检查并解决问题。只有这样,才能确保您的程序能够正常运行,不会出现这个错误。 ### 回答3: 服务器断开连接错误是指客户端请求服务器时,服务器主动断开了连接所导致的错误。这种错误通常发生在网络状况不稳定的情况下,例如网络延迟高、服务器负载高、网络不稳定等。 aiohttpPython中常用的异步HTTP客户端库,它可以快速地进行HTTP请求。在使用aiohttp中,如果请求过程中服务器断开了连接,就会出现serverdisconnectederror错误。这种情况下,需要进行一些处理,以避免程序崩溃或异常。 解决这个错误可以采取以下方法: 1.检查网络状况:检查网络连接是否正常,或者是否存在一些不稳定的因素,例如网络延迟高、服务器负载高、网络不稳定等。 2.增加超时控制:在aiohttp请求中增加超时控制,可以及时检测异常情况,避免长时间等待,可以通过设置aiohttp.ClientTimeout对象来实现。 3.增加重试机制:在请求失败后,可以增加重试机制,重新发送请求,以增加请求成功的概率。可以通过设置aiohttp.ClientSession对象的max_retry属性实现。 4.更新aiohttp库:在一些aiohttp库较老的版本中,可能存在一些bug,可以尝试更新到最新版。 总之,在使用aiohttp时,我们需要了解常见的错误及其原因,针对不同情况采取不同的应对措施,以保证程序的正常运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值