python的requests设置Content-Length的反爬措施破解办法

已于 2024-01-25 17:08:54 修改
阅读量5.7k 收藏 9
点赞数 5
文章标签： python json http
于 2022-05-06 19:33:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51111267/article/details/124616848
版权
这篇博客探讨了Python的requests库在处理HTTP请求时遇到的反爬虫策略，特别是针对Content-Length头的设置。文章通过分析指出，由于json.dumps生成的字符串含有空格，某些网站可能利用此特性进行反爬。作者建议使用separators参数去除空格，并确保请求体长度与Content-Length头一致，以绕过这种反爬机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、原请求方法

import requests
import json
url = 'https://xxxx.com'
data = {
   'a':1,'b':2}
headers = {
了解本专栏 订阅专栏 解锁全文
Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家，字体反爬之二
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
04-27 2万+
说说这个网站 汽车之家，反爬神一般的存在，字体反爬的鼻祖网站，这个网站的开发团队，一定擅长前端吧，2019年4月19日开始写这篇博客，不保证这个代码可以存活到月底，希望后来爬虫coder，继续和汽车之间对抗。 CSDN上关于汽车之家的反爬文章千千万万了，但是爬虫就是这点有意思，这一刻写完，下一刻还能不能用就不知道了，所以可以一直不断有人写下去。希望今天的博客能帮你学会一个反爬技巧。 今天要爬去的网...
(四)Python反爬实战---JS反爬之某网站portal-sign验证参数加密
郑德帅
08-03 912
   python反爬经验实战，适合小白入门，新手提升，大牛晋升。包含本人目前遇到反爬汇总，文章一周2-3篇，为了质量考虑，更新较慢，敬请谅解。购买专栏私信博主加微信，可无偿提供学习辅助。 考虑到新手朋友，博文会讲得较细，高手的话对于一些简单部分可快速略过即可. JS反爬之某网站portal-sign验证参数加密1 portal-sign参数2 参数说明3 参数解析4 Python代码实现 1 portal-sign参数 2 参数说明 参数说明： 32位由数字和小写字母组成的字符串。该参数在请求头中，.
KeyError: ‘content-length‘|学习python爬虫遇到的问题
weixin_55358034的博客
03-01 1808
KeyError: 'content-length'
通过python request库获取文件大小和文件类型（解决报错：KeyError: ‘content-length‘）
Binyee的博客
05-03 1万+
文章目录背景遇到的问题：1、当通过response header 获取content-length 的时候，千牛的url 没有返回 content-length2、涉及到鉴权的私有文件url 获取不到真正的content-length一、解决获取不到content-length问题方法：通过python 的requests.head（url，headers）指定header 里的Accept-Encoding参数，来获取文件流真实的content-length原因：请求参数 headers里不指定文件..
Pytho爬虫获取request的content-length
qq_37480422的博客
03-24 9993
今天在写爬虫的时候遇到了一个app的接口，需要传request的Content-Length，如果不传或者Content-Length不正确就会返回不相关的信息，在网上找了一些，感觉比较少说这个问题的，记录一下 Content-Length的了解 在HTTP协议中，Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-...
python中length用法_如何不让python请求计算contentlength并使用提供的contentlength？
weixin_29064103的博客
01-29 1530
我们有一些自定义模块，其中我们重新定义了open、seek、read、tell函数，以便根据参数只读取文件的一部分。在但是，这个逻辑覆盖了默认的tell，pythonrequests试图计算内容长度，这涉及到使用tell()，然后重定向到我们的自定义tell函数，逻辑有问题，返回错误的值。我尝试了一些改变，但结果出错了。在从中找到以下内容模型.py请求数：def prepare_content_l...
【解决】python获取文件大小,下载进度条报错KeyError: ‘content-length‘
yunmuq的博客
11-24 1462
python3使用request httpx下载文件，获取不到文件大小，response没有content-length header。所以没法用content-length，而是用Transfer-Encoding:chunked分块下载。HTTP response header中，除了content-length还有。后者是说，客户端请求的文件服务器是动态生成的，没法预先知道大小。如果浏览器在下载时，也不显示总大小，那么说明服务器不支持。如果使用了tqdm进度条，不设置total即可。
HTTP之Content-Length
非著名coder的窝
05-18 2903
在HTTP协议中，有Content-Length的详细解读。Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-body。在HTTP协议中，消息实体长度和消息实体的传输长度是有区别，比如说gzip压缩下，消息实体长度是压缩前的长度，消息实体的传输长度是gzip压缩后的长度。在具体的HTTP交互中，客户端是如何获取消息长度
求助一下大佬，爬虫下载数据报错一直‘content-length‘，怎么办！
qq_64766084的博客
01-30 517
爬虫下载数据报错'content-length'
【道高一尺，魔高一丈】Python爬虫之如何应对网站反爬虫策略_反爬虫 request header
m0_60635609的博客
04-16 1226
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。使用代理IP解决反爬。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。
python海报_Python海报Content-Length错误
weixin_39603132的博客
12-09 212
我试图用poster模块发送图像。我效仿了这个例子，但它对我不起作用我的代码：from poster.encode import multipart_encodefrom poster.streaminghttp import register_openersimport urllib, urllib2def decaptcha(hash):register_openers()params = {...
Content-Length如何计算
AnYeZhiYin
10-28 1万+
我还没明白原理不过这代码可以实现 可以用 有时间再看原理 import requests def get_content_length(data): length = len(data.keys()) * 2 - 1 total = ''.join(list(data.keys()) + list(data.values())) length += len(tota...
http 响应头里 没有 或者有 content-length 的几种可能性
热门推荐
superhosts的专栏
03-29 3万+
对于http的请求返回结果要进行内容的长度校验主要有两种方式，二者互斥使用 1.客户端在http头(head)加Connection:keep-alive时，服务器的response是Transfer-Encoding:chunked的形式，通知页面数据是否接收完毕，例如长连接或者程序运行中可以动态的输出内容，例如一些运算比较复杂且需要用户及时的得到最新结果，那就采用chunked编码将内容
python之requests
wenxiaoba的博客
09-21 2267
关于requests的使用方法，可参照中文版文档： http://docs.python-requests.org/zh_CN/latest/index.html 简介 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，使用方法比urllib更加方便。 安装 pip快速安装：pip install requests 使用说明 请求发送方法 使用前，需要导入requests库：import requests 方法 调用方法 .
http响应头首部Content-Length
weixin_33923148的博客
08-07 1158
本文讲述4个问题 gzip编码与Content-Length的关系 分块编码与Content-Length的关系 file文件已经在服务端进行gzip压缩，那为何在node中用request请求这张图片时（请求的方法为head/get）返回头首部Content-Length还是未压缩前的图片大小？ 响应头一定会包含Content-Le...
requests 去掉 headers 里的 content-length
Xander.Wang 的专栏
08-29 8525
说一下碰到的问题吧。 目前在做一个 demo 的时候，用的 post 请求，然后在请求里面设置了 headers ，这个 headers 里面是有一个 content-length 属性的，但是服务器不接受这个参数，于是需要删除了，找了下资料，最后找到了方法，特记录下来。 from requests import Request, Session session = Session() re...
python requests先获取请求资源的大小
u013568834的专栏
01-11 5379
# 关键代码 stream = True 参数，以流的方式读取 # 执行代码 直接给出文件大小 url = 'url自己找吧' re = requests.get(url,stream=True) print(re.headers.get('Content-Length')) 主要用在下载大文件 def request_url(url, headers, file_path): m = hashlib.md5() start_time = time.time() with.
爬虫请求头Content-Length的计算方法
lizz2276的博客
04-18 2525
在如果中文可以不要的情况下，尽量改用英文。使用方法正确计算出。node中使用或Blob计算长度。作者：lceric链接：https://juejin.cn/post/6919396936382414861来源：稀土掘金著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
Python爬虫反反爬总结
LittleDragorse的博客
04-25 443
针对以下各反爬手段的反制措施 Headers 最基本的反爬手段，一般被关注的变量是UserAgent和Refer，可以考虑使用浏览器里的。其中的ContentLength字段requests包会填写，可以不用。Content-Type字段是post表单的格式，必须和网站的一样。 UA 待续 拉黑高频访问IP 数据量大用IP池（伪装成多个访问者），爬取速度要求低用sleep()（伪装成人...
python 抖音视频解析
最新发布
02-22
### 使用Python实现抖音视频解析 #### 准备工作 为了使用Python解析并处理抖音视频，需先安装必要的库。通常涉及网络请求和HTML解析的库如`requests`和`BeautifulSoup`，以及用于处理JSON响应的数据结构操作工具。这些准备步骤确保了后续可以顺利获取到目标网页的内容[^1]。 ```bash pip install requests beautifulsoup4 lxml ``` #### 获取视频信息 通过分析抖音分享页面或API接口返回的信息，可提取出视频的关键属性，比如ID、作者名、描述文字等。下面是一个简单的例子展示怎样发送HTTP GET请求至特定URL，并从中抽取所需数据： ```python import requests from bs4 import BeautifulSoup def fetch_video_info(video_url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)", "Accept-Language": "en-US,en;q=0.9" } response = requests.get(video_url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') # 假设我们已经知道如何定位到包含视频详情的部分 video_details = {} try: title_tag = soup.find('meta', property="og:title")['content'] description_tag = soup.find('meta', property='og:description')['content'] video_details["title"] = title_tag.strip() video_details["description"] = description_tag.strip() except Exception as e: print(f"Error occurred while fetching info: {e}") return video_details ``` 这段代码展示了基本框架，实际应用时可能需要更复杂的逻辑来适应不同版本网站布局的变化或者应对反爬机制[^2]。 #### 下载无水印视频 当掌握了视频的具体地址之后，就可以进一步尝试去除默认附带的品牌标志或其他形式的标记。这里给出了一种简化版的方法，它依赖于第三方服务或是逆向工程得到的有效下载链接模式[^3]: ```python import os def download_douyin_video(url, output_folder='./videos'): if not os.path.exists(output_folder): os.makedirs(output_folder) filename = os.path.join(output_folder, f"{os.urandom(8).hex()}.mp4") with open(filename, 'wb') as file: resp = requests.get(url, stream=True) total_length = int(resp.headers.get('content-length')) if total_length is None: # no content length header file.write(resp.content) else: dl = 0 for data in resp.iter_content(chunk_size=4096): dl += len(data) file.write(data) return filename ``` 此函数接收一个指向目标文件的实际位置字符串参数url，并将其保存在当地指定目录下；注意这里的路径管理和错误处理部分可以根据具体需求调整优化。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云霄IT

感谢感谢！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值