报错:http.client.IncompleteRead: IncompleteRead(180224 bytes read, 39396 more exp

在我爬取某网站时出现了该错误,但是只要重新运行一下程序还是请求成功。

我搜索了一下百度,没有发现类似的答案,不过在stackoverflow有类似的疑问。等会后面有链接。

可能出现这个问题的原因:这里执行urllib的read()函数时候,它会捕获任何不完整的读取异常。因此出现了报错。

我们可以不让它捕获异常,因此当读取链接的时候我们可以用try / catch来抛出异常。

我之前的一段代码,不完整。

        request = urllib.request.Request('https://****.org/'+ url)
        res = urllib.request.urlopen(request)
       
       
        
        buffer = res.read()             #这里
        
            
        if os.path.isfile(r'E:\pythonxm\zhengze\%s.pdf'%(filename)):
            print("已存在%s文件" %(filename))
            i = i+1
            continue
        fo =open(filename+".pdf","wb+")
        fo.write(buffer)
        fo.close()
        i = i+1

改过之后:

        try:              
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值