Pytho爬虫获取request的content-length

今天在写爬虫的时候遇到了一个app的接口,需要传request的Content-Length,如果不传或者Content-Length不正确就会返回不相关的信息,在网上找了一些,感觉比较少说这个问题的,记录一下

Content-Length的了解

在HTTP协议中,Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-body。——http 响应头里content-length 的几种情况

注意:表示的是request body的大小,所以只需要计算传入的data就可以了。

Content-Length的计算

当时百度了一下有一位同学写的计算方法:Content-Length如何计算,不过不太适合我的项目。

  1. 错误的计算方法
    Content-Type是application/json,我首先试了一下将data转json,然后通过len(json_str)计算是错误的
  2. 暂时正确的计算方法
    其实很简单,通过len(data)就获取到了正确的content-length,但是要对它进行转换,转换成字符类型才可以赋值到header,也就是最终是headers[‘Content-Length’] = str(len(data))
  3. 疑问
    通过网上查资料,如果前端可以通过gzip压缩的话,那么content-length会是压缩后的大小,不清楚后端是不是可以指定必须要压缩,如果指定了,压缩后的content-length又该如何计算?
  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值