ios get请求返回数据为空_解决requests.get()状态码418问题

很多时候通过requests请求网页内容的过程中得到不正确的状态码,比如今天我在爬取豆瓣读书评论的过程中,import requests 之后,通过get获取网页内容,但是返回内容为空。(操作环境为spyder中的console)

f24cf2755cf423380c26e6dec871bb70.png
requests.get()状态码418,状态码为200的时候才是正确的

通过查询资料,原来要设定headers!! 按照下面链接的过程我设置好headers!

python爬虫requests过程中添加headers - 老和尚不念经 - 博客园​www.cnblogs.com
94be7bc8fa22a3a9c3fdf50cf7a3cb7b.png

58337ec42bab6e53d5b3e4c477ab8a67.png
设置headers,我这儿用的浏览器是safari,此处headers设置时我直接把网页上面的信息copy过来的,其实会有很大的隐患,保留User-Agent就可以了,Accept-enconding,Accept-language会造成网页返回的数据乱码!我就是在这儿给自己后面不断的网页输出乱码挖了个巨坑啊啊啊啊啊)

如果是chrome浏览器,可以通过以下方式查看header,:

在Chrome浏览器中查看HTTP报文的头部信息_电脑软件-百度经验​jingyan.baidu.com

6da1670e4ab10bea5233a7d4e4fa79b0.png
状态码正确!!

输出get到的网页内容!!finally,cheers!

4553f02ac2f5c6621be92dc7fda42211.png

5行代码获取网页内容我调试了也就99次吧 不多不多,希望你能比我快!

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值