Python爬取时出现Connection broken: IncompleteRead(2097152 bytes read, 22699640 more expected)错误怎么办

最新推荐文章于 2024-06-10 22:18:41 发布
最新推荐文章于 2024-06-10 22:18:41 发布
阅读量733 收藏 10
点赞数 7
分类专栏： 爬虫总结 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57265868/article/details/135326341
版权
本文讲述了在爬取糖豆视频时遇到的错误，不是由于链接被禁止，而是关于chunked编码的问题。作者提供了一个解决方案，即直接跳过错误并分享了相关链接中的其他解决方法。
摘要由CSDN通过智能技术生成

b13ca37aa4ef40e1a38581bfa5bd4ac2.png

接上篇爬取糖豆视频，错误并不是被禁止链接，而是上述错误，有一个不是办法的办法，直接跳过错误，见上图。

其他解决方法：

【python requests接收chunked编码问题 -  CSDN App】http://t.csdnimg.cn/VJpwQ

 

 

 

 

 

努力学习各种软件
关注
  • 7
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python使用request库,出现 Connection broken: IncompleteRead
weixin_34198881的博客
03-14 5414
2019独角兽企业重金招聘Python工程师标准>>> ...
报错‘Connection broken: IncompleteRead(1048576 bytes read, 16379904 more expected)‘,
计算机辅助工程
12-28 1348
解决方法： 在请求时加上stream = True。
'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes
p_xiaobai的博客
10-24 3863
爬虫运行时报：'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes read, 2614 more expected)的错误。 解决方法： 在请求时加上stream = True eg： response ...
Connection broken: IncompleteRead(1394 bytes read)', IncompleteRead(1394 bytes read)
u010351326的专栏
10-23 6194
使用urllib3上传出现的问题 Connection broken: IncompleteRead(1394 bytes read)', IncompleteRead(1394 bytes read) 原因：网上说此问题出现的原因是服务器的请求只支持HTTP/1.0，urllib3中使用了chunk，但是chunk在HTTP/1.1中才会有，传输还没完成连接就中断了，所以报错 解决： # 引入...
requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(0 bytes read)‘
weixin_38536617的博客
10-19 431
更新python的requests库，甚至卸载了重装。使用http1.0来进行request。试了很多方法，包括但不限于。
requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(0 bytes read)‘, Incomp
qq_52660776的博客
10-25 1710
搜了很多的博客，很多方法也试了，包括且不限于 使用http1.0来进行request 更新python的requests库 修改源码 … 都没有解决问题 但是不能不解决啊，暂时提供一个解决办法 while True: try: ...... expect: ...... 代码是要跑的，日子是要过的。 所以偶尔断连也是没问题的。 放一下我的nohup.out日志: time.struct_time(tm_year=2021, tm_mon=10, tm_mday=
requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(0 bytes read)', Incomp
清凌的博客
07-19 2万+
解决了之前的报错： 我的环境： linux_centos python2.7 报错情况： Traceback (most recent call last): File "total_flow_count.py", line 89, in <module> query_total_flow() File "total_flow_count.py", line 59, in que...
http.client.IncompleteRead: IncompleteRead(0 bytes read)
12-21
File "/home/ubuntu/workspace/dcard/venv/lib/python3.5/site-packages/requests/packages/urllib3/response.py", line 435, in _update_chunk_length self.chunk_left = int(line, 16) ValueError: invalid ...
python 使用Flask 出现 ValueError: Expected object or value 问题解决
01-06
服务跑起来是出现这样了这样的错误。 首先我的manager.文件与我处理数据的py文件不在同一级目录。 文件结构大致如下： project clean_data data.py test.json manager.py templates static test.json文件是与data...
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
12-25
Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，正是这使得两者的区分特别...
Python3——bytes和str
12-23
Python3——bytes 和str 参考链接： Python3种的str和bytes区别、包含python2与python3的区别 Python3中的bytes和str类型 编码方式 ASCII编码：8个比特位代表一个字符的编码，最多表示282^828个字符 UNICODE：规定...
解决TypeError: expected str, bytes or os.PathLike object, not int
10-20
博文需要的资源文件
【Python】Requests报错：requests.exceptions.ChunkedEncodingError
linjiuxiansheng的博客
04-07 2012
Requests报错：requests.exceptions.ChunkedEncodingError
【已解决】requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(267143787 bytes r
BetrayFree的博客
12-05 4323
那就一直试呗，但是试了很多次以后发现还是不行，这前面的情况都是基于代理可用的情况下，但是大家请看这个MaxRetryError，包括之前的NO HOST都是因为代理不可以，也就是没有成功翻墙，这个问题我会再出一篇博文来详细讲解这个的解决办法。有趣的是，这两种文件目录结构都是通过代码下载和创建的，也就是没有手工操作（当然这里指的是第二种目录结构是正常下载的途径，而我原本的是不对的，但是为什么会有这种情况呢？（到这一步是没找到大佬给出的解决方案的，所以我还是有点疑惑的，继续往下看）再看一下是不是其他原因。
python下载文件损坏_python - 尝试下载文件时，Python请求抛出带有http.client.IncompleteRead的Connection Broken：ChunkedEncodi...
weixin_39605326的博客
11-23 918
我正在尝试使用请求模块下载PDF文件，代码如下：import requestsurl = ""r = requests.get(url, stream=True, timeout=(60, 120), headers={'Connection': 'keep-alive','User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36...
(转)python中httplib.IncompleteRead exception
昊海东情的专栏
11-06 6725
很恼火的错误，使用urllib2获取远程http内容时，是不是出现httplib.IncompleteRead exception错误。 错误具体为：httplib.IncompleteRead: IncompleteRead(1353 bytes read) 问题是这个问题一会出现，一会不出现。有时候运行一天也不会出错，有时候10分钟就出错。 怎么整都不行。   后
【debug】requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(0 bytes read)‘
qq_34965596的博客
03-06 1868
问题描述 在对 CVE-2020-14750 进行复现时，运行的 python 脚本报错如下： requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(0 bytes read)’, IncompleteRead(0 bytes read)) 猜测原因为 post 数据中的 handle 参数与 java 相关，可能某个地方编码特殊 解决方法 可将 http 协议改成 1.0 版本，兼容该编码，相关代码如下
python爬虫 关于requests.exceptions.ConnectionError 等问题
热门推荐
寻绾的博客
12-11 5万+
在爬虫中报如下的错误： requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,)) 发现该错误是因为如下： 1、http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。 2、ip被封 3、程序请求速度过快。 解决办法如下： 第一种方法： tr
基于JavaScript 如何实现爬山算法以及优化方案
最新发布
乐闻世界
06-10 1158
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
http.client.IncompleteRead: IncompleteRead(120400 bytes read, 22008 more expected)这个报错怎么解决
06-08
这个错误通常是由于网络连接中断或服务器响应不完整导致的。解决方法如下： 1. 尝试重新运行代码，看看是否只是一个临时的网络连接问题。 2. 如果问题仍然存在，请尝试增加超时时间。可以使用`httplib`模块的`HTTPConnection`类或`urllib.request`模块的`urlopen`函数设置超时时间。 3. 如果您正在使用代理，请确保代理配置正确，并检查代理是否能够正常工作。 4. 如果您使用的是HTTP协议，请尝试使用HTTPS协议进行连接，以避免可能存在的网络安全问题。 5. 如果问题仍然存在，请联系服务器管理员，看看是否存在服务器问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

努力学习各种软件

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值