Python爬虫过程中出现重定向302解决方法

在访问页面的时候,有的网站为了防爬,会出现302的重定向问题,这时候我们正常去通过requests库get只能访问到200的界面,而302的界面无法进行访问 

 

 如果代码这样写302被跳过,我们直接得到的是200的界面的内容。 打印的状态码可以说明

import requests
url1="https://blog.csdn.net/qq_34020487/article/details/102229511"
ico_url="https://blog.csdn.net//favicon.ico"
header={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36",
       }

r = requests.get(url1,headers=header)
cookie = requests.utils.dict_from_cookiejar(r.cookies)
print(cookie)
print(r.status_code)

r = requests.get(ico_url,headers=header,cookies=cookie)
print(r.status_code)
cookie.update(requests.utils.dict_from_cookiejar(r.cookies))
html=t.text
with open("../h.html",'w') as f:
    f.wrirte(html)

此时只需要在get内部加上对应的参数 allow_redirects即可。

 (Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置,从地址A跳转到地址B了。

重定向状态码:

--301 redirect: 301 代表永久性转移(Permanently Moved)

--302 redirect: 302 代表暂时性转移(Temporarily Moved )

打印状态码是200,这是因为requets库自动处理了重定向请求了。自动处理重定向地址后,我们就获取不到重定向后的url了,就无法走下一步,这里我们可以设置一个参数禁止重定向:allow_redirects=False

(allow_redirects=True是启动重定向),然后就可以看到status_code是302了。这时候重定向就可以解决。

 

  • 11
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值