【解决】python获取文件大小,下载进度条报错KeyError: ‘content-length‘

最新推荐文章于 2024-04-24 14:27:09 发布
最新推荐文章于 2024-04-24 14:27:09 发布
阅读量1.2k 收藏
点赞数
分类专栏： 代码 文章标签： python httpx request
原文链接：https://www.cnblogs.com/yunmuq/p/16923374.html
版权

python3使用request httpx下载文件，获取不到文件大小，response没有content-length header


最简单的排查问题的办法就是用浏览器去下载

如果浏览器在下载时，也不显示总大小，那么说明服务器不支持

HTTP response header中，除了content-length还有Transfer-Encoding:chunked

后者是说，客户端请求的文件服务器是动态生成的，没法预先知道大小

所以没法用content-length，而是用Transfer-Encoding:chunked分块下载

我们可以 print(response.headers) 查看，如果有chunked则无解

如果使用了tqdm进度条，不设置total即可


云牧青
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python中length用法_如何不让python请求计算contentlength并使用提供的contentlength？
weixin_29064103的博客
01-29 1412
我们有一些自定义模块，其中我们重新定义了open、seek、read、tell函数，以便根据参数只读取文件的一部分。在但是，这个逻辑覆盖了默认的tell，pythonrequests试图计算内容长度，这涉及到使用tell()，然后重定向到我们的自定义tell函数，逻辑有问题，返回错误的值。我尝试了一些改变，但结果出错了。在从中找到以下内容模型.py请求数：def prepare_content_l...
通过python request库获取文件大小和文件类型（解决报错：KeyError: ‘content-length‘）
Binyee的博客
05-03 9721
文章目录背景遇到的问题：1、当通过response header 获取content-length 的时候，千牛的url 没有返回 content-length2、涉及到鉴权的私有文件url 获取不到真正的content-length一、解决获取不到content-length问题方法：通过python 的requests.head（url，headers）指定header 里的Accept-Encoding参数，来获取文件流真实的content-length原因：请求参数 headers里不指定文件..
python post_data = self.rfile.read(content_length).decode(‘utf-8‘) 有的tar包解析要加上.decode(‘utf-8‘) 有的不要
最新发布
zengliguang的专栏
04-24 455
因为tar包本质上是一个二进制文件，其内容包含了打包文件的元数据（如文件名、权限、时间戳等）以及打包文件的原始字节数据。在这种情况下，直接对tar包的字节数据进行操作即可，无需进行解码。： 如果您收到的是一个tar包，并且需要从中解析出包含文本内容的文件，这些文本文件内部的字符通常是以某种文本编码（如UTF-8）存储的。： 如果您需要处理的是整个tar包作为一个二进制文件（如上传、下载、保存到磁盘等），则不应使用。方法，指定相应的文本编码（如UTF-8），将字节数据转换成字符串。综上所述，是否需要使用。
python下载大文件-python requests 下载大文件不完整
weixin_37988176的博客
11-01 1064
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份.使用的是Python 2.7.10requests 2.8.1目前碰到一个情况, 使用 requests 下载大文件的时候会出现下载文件不完整的情况, 出现的概率非常大, 应该不会是网络原因导致的. 相关代码概括如下:requests.adapters.DEFAULT_RETRIES = 5response = requests.ge...
KeyError: ‘content-length‘|学习python爬虫遇到的问题
weixin_55358034的博客
03-01 1502
KeyError: 'content-length'
python海报_Python海报Content-Length错误
weixin_39603132的博客
12-09 170
我试图用poster模块发送图像。我效仿了这个例子，但它对我不起作用我的代码：from poster.encode import multipart_encodefrom poster.streaminghttp import register_openersimport urllib, urllib2def decaptcha(hash):register_openers()params = {...
Content-Length为－1导致下载文件字节数为0错误
kmyhy的专栏
11-24 1万+
正在android下写一个多线程下载类，发现当文件很小（几kb大小）时，该代码工作良好。当下载的文件比较大（如几百kb）时，下载到的文件大小全部为0。
Python 获取下载文件大小
时越的博客
10-12 2908
import requests # 构造请求头 headers={ 'session':'JSESSIONID', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36' } #发送get请求url url='' r=requests.get(url,stream=True,headers=
Python错误： SyntaxError: Non-ASCII character解决办法
09-21
主要介绍了Python错误： SyntaxError: Non-ASCII character解决办法的相关资料,需要的朋友可以参考下
python的mysql数据查询及报错AttributeError: ‘Connection’ object has no attribute ‘curson’
01-07
import pymysql #创建连接 con = pymysql.connect(host='localhost',user='root',password='123456',port=3306,database='zhy') #创建游标对象 cur = con.curson() #编写查询的sql语句 sql = 'select * from t_...
解决pip install xxx报错SyntaxError: invalid syntax的问题
01-20
python——pip install xxx报错SyntaxError: invalid syntax 在安装好python后，进入python运行环境后，因为我要用pip安装开发Web App需要的第三方库，执行pip install aiohttp，发现会报错SyntaxError: invalid ...
解决python脚本中error: unrecognized arguments: True错误
09-17
在Python编程中，`error: unrecognized arguments: True` 错误通常出现在命令行解析时，当你尝试传递一个未被脚本预期的参数时。这个错误表明你可能在调用Python脚本时，传入了一个程序无法识别的参数，例如在这个...
python3.7报错：typing-extensions.py文件按丢失
04-24
python3.7中报错：No module named ‘typing_extensions‘ 丢失文件资源
Python request urllib 获取远程文件大小
chrisplus的博客
12-14 1489
Python request urllib 获取远程文件大小 有两个方法 requests库 import urllib import requests url=r'https://down.qq.com/qqweb/PCQQ/PCQQ_EXE/PCQQ2020.exe' download=requests.get(url) print(download.headers['content-length']) 这个方法可以取到文件大小,但是缺点在于,首先会下载文件. urllib库 import url
python的requests设置Content-Length的反爬措施破解办法
云霄IT的博客
05-06 5384
一、原请求方法 import requests import json url = 'https://xxxx.com' data = {'a':1,'b':2} headers = { 'Content-Type':'application/json;charset=UTF-8', 'Content-Length':str(len(json.dumps(data))) } res = requests.post(url=url,headers=headers,data=json.dumps(data))
python爬取拉勾网出现KeyError: 'content'
热门推荐
丁文
03-12 1万+
python爬取拉勾网出现KeyError: ‘content’ 在爬取拉勾网的时候，出现如下报错，经分析解析路径没有出错，是cookie过期，没有响应数据，即不存在这个数据，才会出现如下报错： 【解决办法】 1、 设置条件语句: import requests import json def main(): for i in range(1,3): url = '...
Django接收自定义http header(转)KeyError: 'Content-Type'
wjg1314521的博客
05-27 1万+
Django将所有http header（包括你自定义的http header）都放在了HttpRequest.META这个Python标准字典中，当然HttpRequest.META 中还包含其它一些键值对，这些键值对是Django加进去的，如SERVER_PORT等。对于http header，Django进行了重命名，规则如下 (1) 所有header名大写，将连接符“-”改为下划线“_...
Pytho爬虫获取request的content-length
qq_37480422的博客
03-24 9350
今天在写爬虫的时候遇到了一个app的接口，需要传request的Content-Length，如果不传或者Content-Length不正确就会返回不相关的信息，在网上找了一些，感觉比较少说这个问题的，记录一下 Content-Length的了解 在HTTP协议中，Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-...
Okhttp下载文件如何获取文件的大小，并显示进度问题
romygreat的博客
06-18 3497
利用okhttp下载文件时，文件大小无法获取，可能有的说通过 requestBuilder.addHeader(“Accept-Encoding”, “identity”)，因为okhttp源码中，当未添加Accept-Encoding时，默认使用的为gzip格式，然后通过contentLength，然而并无效，说明此方法不通 一个有效可行的操作是，执行两次请求 第一次请求，http请求还有一个head请求的方法，因此可先通过，request中添加head()进行请求，这个请求获取的是文件大小，不能通过该r
python在安装sklearn库是报错：error: subprocess-exited-with-error
09-10
你好！对于你遇到的这个错误，可能是由于某些环境配置或依赖项问题导致的。我可以给你一些建议来解决这个问题： 1. 确保你的Python环境已经正确安装。你可以在命令行中运行 `python --version` 来检查Python版本。 2. 确保你的pip工具已经升级到最新版本。你可以运行 `pip install --upgrade pip` 来更新pip。 3. 尝试使用管理员权限重新安装sklearn库。在命令行中运行 `pip install --user -U scikit-learn`。 4. 如果以上方法都没有解决问题，可能是由于缺少一些依赖项导致的。你可以尝试安装一些必需的系统依赖项，如NumPy和SciPy。在命令行中运行 `pip install numpy scipy`。 5. 如果你使用的是Anaconda环境，请确保你已经激活了正确的环境，并且尝试重新安装sklearn库。 6. 如果问题仍然存在，可能是由于其他环境配置问题导致的。你可以尝试在网上搜索具体的错误信息，看看是否有其他人遇到了类似的问题，并找到相应的解决方案。 希望这些方法能帮助你解决问题！如果还有其他疑问，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值