抓取网页的gzip/deflate

最新推荐文章于 2024-06-17 10:08:39 发布
最新推荐文章于 2024-06-17 10:08:39 发布
阅读量3.5k 收藏 1
点赞数 1
分类专栏： python网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djd1234567/article/details/50294173
版权
本文介绍如何使Python的urllib2库自动支持gzip和deflate压缩，以提高网页抓取效率。通过继承BaseHandler并使用build_opener方法，可以简化处理过程，避免手动设置'accept-encoding'和检查'response.header'。
摘要由CSDN通过智能技术生成

现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以豆瓣的主页为例，未压缩版本327K，压缩了以后61K，为原来的1/5。这就意味着抓取速度会快5倍。

然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-encoding’，然后读取response后更要检查header查看是否有’content-encoding’一项来判断是否需要解码，很繁琐琐碎。如何让urllib2自动支持gzip, defalte呢？

最低0.47元/天 解锁文章
djd已经存在
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用GZIP压缩网页内容（一）
五彩世界的博客
05-20 1154
package day04; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.util.zip.GZIPOutputStream; import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; ...
关于gzip服务端读取方法
mdbgotow的专栏
11-06 1038
public String getParametersJsonString(HttpServletRequest request) {                  byte[] bt = null;         String json = null;                  InputStream in = null;         ByteArrayInputS
如何读取API中用Gzip格式压缩过的数据
weixin_42851750的博客
08-04 749
使用第三方接口获取数据时遇到了一个问题，请求第三方api数据时，返回的数据是经过gzip格式压缩的。这就导致我无法获得数据，在百度了许久后，终于找到了一个解决办法。
‘Accept-Encoding‘: ‘gzip, deflate, br‘ 的 含义
最新发布
moamao_jishuyuan的博客
06-17 636
Accept-Encoding是 HTTP 协议中的一个头部字段，其主要作用在于告知服务器客户端能够理解的内容编码方式。这个字段对于网络传输效率的优化非常重要，因为它允许服务器根据客户端的能力来压缩响应数据，从而减少传输的数据量，加快网页加载速度。
Burp Suite抓取gzip数据包
zyw_anquan的专栏
03-02 6759
Burp Suite抓取gzip数据包 测试环境 [+]JDK 1.8.0_45 [+]Burp Suite 1.6.27 [+]WinHex 14.2 SR-3 [+]WinRAR 5.21 下载地址： [+]JDK 1.8.0_45 [+]Burp Suite 1.6.27 一、抓包 Burp Suite抓包方式详见：Burp Suite抓HTTPS数据包（通用）
Fiddler抓包
WildGrass、的博客
03-18 2019
Fiddler抓包1 什么是fiddler？1.1 概念1.2 使用场景1.3 工作原理2 HTTP协议3 Fiddler工具详解3.1 Fiddler 菜单栏3.2 Fiddler工具栏3.3 Fiddler会话列表3.4 辅助标签+工具栏3.5 命令行/状态栏 1 什么是fiddler？ 1.1 概念 fiddler是位于客户端和服务器端的HTTP代理，目前最常用的抓包或是web调试工具之一。可以通过fiddler查看浏览器的所有HTTP/HTTPS流量、查看和分析请求内容细节、伪造客户端请求和服务端响
爬虫处理gzip压缩格式网站的方法
我没有生来天赋异人，面对人潮人海只剩勤奋。
11-12 521
#coding:utf-8 import urllib2 import re import zlib url_address = 'http://www.sina.com.cn' f = urllib2.urlopen(url_address) buf = f.read() buf = zlib.decompress(buf, 16+zlib.MAX_WBITS); #buf = buf.replace("\n","") print buf
apache启用gzip压缩的实现方法
09-15
Apache服务器通过集成Gzip模块（如mod_gzip和mod_deflate），可以在向客户端浏览器发送网页内容前先进行压缩，从而降低网络传输的数据量，加快网页加载速度。这对于提升用户体验、节省流量以及优化搜索引擎抓取效率...
php gzip压缩输出的实现方法
12-19
通过在服务器端使用Gzip压缩网页内容，然后将其传输给浏览器，可以减少网络传输的数据量，加快页面加载速度。这对于提升用户体验和搜索引擎的爬虫效率都有积极影响，例如Google可以直接处理gzip压缩的Sitemap文件。 ...
RequestDemo:使用request 抓取网页并将文本解压缩，自动转换为UTF8
05-13
request demo使用抓取网页，并对网页内容处理示例request = require('...并转为UTF8使用gzip/deflate压缩请求，并对结果进行解压缩实际测试已经抓取数千个网站均可以正常工作，如发现不能正常工作的站点，感谢提交issue
libdeflate, 用于 DEFLATE/zlib/gzip 压缩和解压缩的优化库.zip
09-17
libdeflate, 用于 DEFLATE/zlib/gzip 压缩和解压缩的优化库 概述libdeflate是一个用于快速整个缓冲区压缩压缩和解压缩的库。支持的格式包括：DEFLATE ( 原始)zlib ( 带zlib包装的。k 。DEFLATE )gzip ( 一个带有gzip包装的DEFLATE )l
asp.net c# 抓取页面信息方法介绍
10-27
本文将详细介绍如何使用C#语言在ASP.NET框架下抓取和处理网页信息，同时讨论网页更新机制和编码问题。 一、网页更新机制 网页信息的更新速度各不相同，合理的抓取频率应考虑页面的缓存策略。页面缓存时间是由...
一日一技：反爬虫的极致手段，几行代码直接炸了爬虫服务器
m0_59164520的博客
02-27 1249
作为一个站长，你是不是对爬虫不胜其烦？爬虫天天来爬，速度又快，频率又高，服务器的大量资源被白白浪费。 看这篇文章的你有福了，我们今天一起来报复一下爬虫，直接把爬虫的服务器给干死机。 本文有一个前提：你已经知道某个请求是爬虫发来的了，你不满足于单单屏蔽对方，而是想搞死对方。 很多人的爬虫是使用Requests来写的，如果你阅读过Requests的文档，那么你可能在文档中的Binary Response Content[1]这一小节，看到这样一句话： The gzip and deflate transf
查看wireshark抓包中含有gzip内容的方法
热门推荐
xwj528的专栏
03-09 1万+
移动APP或者一些网页的http为了提高效率，节约流量，包体经常采用压缩方式传输， 判断是否采用压缩最直观的可以从抓包的request和response头看到，如下图的content-encoding就可以知道了。 那么对于抓到经过压缩的包怎么看呢？在wireshark上看到的是一堆乱码，下面就介绍通过UE编辑后进行查看的方法： 1.      下载并按照UE （http://p
Python Requests笔记
linshiyx的博客
06-17 302
译自：http://docs.python-requests.org/en/master/ r = requests.get('http://httpbin.org/get', params=payload) r = requests.post('http://httpbin.org/post', data = {'key':'value'}) r = request
给Python中通过urllib2.urlopen获取网页的过程中，添加gzip的压缩与解压缩支持
12-04 3008
之前已经实现了用python获取网页的内容，相关已实现代码为： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 #--------------
python urllib2遇到Content-Encoding=gzip解码为乱码的解决方案
biboshouyu的博客
05-18 4690
python urllib2遇到Content-Encoding=gzip解码为乱码的解决方案 用Chrome的开发者工具，查看网页的headers，如果response headers出现Content-Encoding : gzip，则urllib2无法对其内容进行解码。 需要用gzip模块来处理，详细方法如下： yresponse = urllib2.urlopen(url) rsph
网页内容抓取之确定网页是否gzip压缩
YQ的博客
06-03 4135
参考：https://segmentfault.com/q/1010000003042693 使用python的urllib2抓取得到的网页时，有时会遇到这样尴尬的情况： 原因是返回的网页进行了压缩，这里是gzip压缩。 要正确获取网页内容，就要对它进行解压处理即可。解压处理可使用python的gzip和StringIO库解决： headers = {'User-agen
网页如何开启Gzip压缩
yong16888的博客
03-04 2033
网页如何开启Gzip压缩 gzip是GNUzip的缩写，它是一个GNU自由软件的文件压缩程序。它是Jean-loupGailly和MarkAdler一起开发的。第一次公开发布版本是1992年10月31日发布的版本0.1，1993年2月发布了版本1.0。 　　一、GZIP概念 　　GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种数据压缩格
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值