python压缩数据长度_如何解码在python HTTP响应中返回的gzip压缩数据？

最新推荐文章于 2022-11-16 10:28:52 发布
最新推荐文章于 2022-11-16 10:28:52 发布
阅读量837 收藏
点赞数
文章标签： python压缩数据长度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39550940/article/details/111944267
版权
这篇博客探讨了如何在Python中处理HTTP响应中gzip压缩的数据。通过使用`requests`库获取数据，然后利用`zlib.decompress()`函数进行解压，作者遇到并解析了错误，最终找到正确的解压参数。
摘要由CSDN通过智能技术生成

使用zlib.decompress(string, wbits, bufsize)时指定wbits例如，请参阅“疑难解答”的末尾。

故障排除

让我们开始了与下载未知“内容编码”一个字节范围响应(注AA curl命令：我们事先知道这是某种形式的压缩事情，mabye deflate也许gzip )：

export URL="https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2016-18/segments/1461860106452.21/warc/CC-MAIN-20160428161506-00007-ip-10-239-7-51.ec2.internal.warc.gz"

curl -r 266472196-266527075 $URL | gzip -dc | tee hello.txt

具有以下响应头：

HTTP/1.1 206 Partial Content

x-amz-id-2: IzdPq3DAPfitkgdXhEwzBSwkxwJRx9ICtfxnnruPCLSMvueRA8j7a05hKr++Na6s

x-amz-request-id: 14B89CED698E0954

Date: Sat, 06 Aug 2016 01:26:03 GMT

Last-Modified: Sat, 07 May 2016 08:39:18 GMT

ETag: "144a93586a13abf27cb9b82b10a87787"

Accept-Ranges: bytes

Content-Range: bytes 266472196-266527075/711047506

Content-Type: application/octet-stream

Co

最低0.47元/天 解锁文章
weixin_39550940
关注
Python实现HTTP报文压缩传输
带你成为别人眼中的大佬！
08-10 389
接下来，我们需要了解两种常见的 HTTP 报文压缩方式：gzip 和 deflate。其中，gzip 的压缩效率略高于 deflate，但 deflate 的压缩速度更快。而随着互联网的快速发展，网页上所加载的资源越来越多，HTTP报文体也越来越大。为了优化网络性能，减少网络流量，我们可以通过对HTTP报文体进行压缩，以减少数据传输的大小。通过这种方式，我们可以有效地减少网络传输的大小，提高网页的加载速度，同时也可减少服务器的带宽消耗。库，这是一个 Python 的第三方库，用于发送 HTTP 请求。
【Python爬虫系列】_003.HTTP&HTTPS协议
最新发布
weixin_50296259的博客
08-31 396
第三方通过服务器的公钥，对服务器的加密响应数据进行解密，对响应数据进行篡改之后，通过自己的私钥进行加密。客户端接收到第三方篡改后的加密数据，使用第三方的公钥进行解密（可以正常解密数据，无法发现数据被篡改）如果一开始，客户端拿到的公钥就是第三方的，第三方通过自己的私钥，可以解密客户端的请求内容。然后第三方再通过服务器的公钥对请求内容进行加密，发送给服务器。第三方获取到了公钥，也无法对客户端发送的请求内容进行解密，无法查看到请求内容。客户端发送的请求内容，通过公钥进行加密，需要私钥才能解密。
Python 解密HTTP协议中的Gzip压缩数据
墨痕诉清风的博客
11-16 1442
HTTP 请求中包含 Accept-encoding: gzip。HTTP 响应中包含Content-encoding: gzip。个人示例入参为bytes类型，如果是str类型，前三个转为整形为31 139 8。主要分析前3个字节来做判定，正确的格式为1F 8B 08。
python gzip加密_在Python中，如何解码GZIP编码？
weixin_39577052的博客
12-24 1166
使用内置的gzip模块解压缩字节流。如果您有任何问题，请显示您使用的最小代码、确切的错误消息和回溯，以及print repr(your_byte_stream[:100])的结果更多信息1.有关gzip/zlib/deflate混淆的解释，请阅读this Wikipedia article的“其他用途”部分。2.如果您有字符串而不是文件，那么使用zlib模块比使用gzip模块更容易。不幸的是Pyt...
python requests解压响应gizp数据包并解密转码
我不喜欢这个世界
01-22 2360
import requests res= requests.post('http://www.xx.com',headers=headers,data=data) data = gzip.decompress(res.content).decode("utf-8")#gip解压 #data = x149_170_124_157_150_xxx_xxx_201_188_149_163y #因为data是x开头结尾这种形式所以需要转码和解密 #下面进行转码 k = [48, 49, 50, 51, 52,
python gzip_python gzip压缩
weixin_39988888的博客
12-03 82
1 import urllib22 from StringIO import StringIO3 import gzip45 def loadData(url):6 request = urllib2.Request(url)7 request.add_header(‘Accept-encoding‘, ‘gzip‘)8 response = urllib2.urlopen...
Python实现向服务器请求压缩数据及解压缩数据的方法示例
09-21
在`request.add_header('Accept-encoding', 'gzip')`这行代码中，我们将`Accept-encoding`头设置为`gzip`，这意味着我们请求服务器返回的数据应该是经过gzip压缩的。 ```python request = urllib2.Request('...
HTTP响应丨Python爬虫基础入门系列(10)
阿星的Python技术分享博客
05-01 353
【福利+1】本节主要涉及HTTP响应。在学Python爬虫的老铁们，戳进来看看，说不定对你有用噢~
【Python数据压缩】：zlib库在大数据处理中的应用与效率测试
Python作为一门功能强大的编程语言，在数据处理领域有着广泛的应用，其强大的数据压缩库如zlib、gzip、bzip2等，可以支持开发者进行高效的数据压缩与解压缩操作。 在这一章节中，我们将简要介绍Python中数据压缩的...
python以gzip header请求html数据时，response内容乱码无法解码的解决方案
尘雨::执着VC
04-23 1万+
1. 问题背景在使用urllib2 module抓取web数据时，如果希望使用如何request header，减少传输时数据量。返回的数据，是经过gzip压缩的。直接按照 content.decode(“utf8”), 解码会出现异常，并且也无法检测网页数据的实际编码类型。2. 问题分析因为http请求中，如果在request header包含”Accept-Encoding”:”gzip, de
python中用zlib解压报错zlib.error: Error -3 while decompressing: incorrect header check的原因和解决方法
ldahual的博客
09-06 8029
形如下面的一段代码： b64_encoded_bytes = base64.b64encode(zlib.compress(b'abcde')) encoded_bytes_representation = str(b64_encoded_bytes) # this the cause zlib.decompress(base64.b64decode(encoded_bytes_representation)) zlib.decopress时报错 zlib.error: Error -3 while d
python处理gzip数据
airgreen的博客
03-22 2万+
通常用gzip压缩过的云端数据需要做解压处理，以下代码主要用python3实现对获取到的云端gzip压缩数据进行还原。# -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. """ #! /usr/bin/env python3.6 import requests import gzip def...
python3安装包是说解压数据出错怎么办_python zlib解压缩gzip数据流出错的解决方法...
weixin_39717865的博客
12-11 972
zlib解压缩gzip数据，经常报如下错误：Error -3 while decompressing data: incorrect header check错误提示信息很明确，就是解压缩时检测到头部不正确这是因为你的数据可能是如下格式：deflatezlibgzip需要分别按如下方式来解压缩：deflate: wbits = -zlib.MAX_WBITSzlib: wbits = zlib.M...
Python中用zlib.decompress出错：error: Error -3 while decompressing data: incorrect header check
热门推荐
pxf1234567的专栏
12-18 2万+
【问题】 在Python中，对于某个url返回的gzip的数据，调用zlib.decompress进行解码，但是出错：     respHtml = zlib.decompress(respHtml);  error: Error -3 while decompressing data: incorrect header check 【解决过程】 1.网上找了一堆，都是E
Python 中gzip模块完成对文件的压缩和解压
wjhsg的专栏
07-31 1万+
gzip块主要支持打开对应格式的压缩文件，并可以完成对压缩文件的读出和写入操作。压缩文件被打开后，可以使用文件对象一样的方法，如read、readline、readlines、write、writelines等。 【代码示例】使用gzip模块完成对文件的压缩。 import gzip f_in = open("data.txt", "rb") #打开文件 f_out = gzip.open...
python 解码 gzip压缩的网页
weixin_33675507的博客
05-17 791
为什么80%的码农都做不了架构师？>>> ...
android 解压gzip,【报Bug 安卓版解压gzip pako】
weixin_36391973的博客
05-27 273
详细问题描述(使用 pako 对ws 数据进行解压 安卓端报错 ios还未进行测试 报错：16:54:46.581 invalid distance too far back16:54:46.601 invalid code lengths set16:54:48.989 invalid distance too far back)[使用 pako 对ws 数据进行解压 安卓端报错 ios还...
Python大文件gzip压缩与解压实现与封装
本文主要介绍了在Python中处理大文件时如何有效地进行gzip压缩和解压缩操作。gzip是一种常见的文件压缩格式，特别适合于存储大量数据，因为它能够显著减小文件大小，提高网络传输效率。在Python中，标准库中的gzip...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值