requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

原创 2017年08月11日 16:38:54

在使用get或者post的爬虫的时候可能会报错:
raise TooManyRedirects(‘Exceeded %s redirects.’ % self.max_redirects, response=resp)
requests.exceptions.TooManyRedirects: Exceeded 30 redirects.’

原因
因为header头的改变,例如爬虫爬取豆瓣页面的时候,登录header头里面的Host:www.douban.com,但是登录成功以后爬取电影页面的相关内容的时候,Host:movie.douban.com

可以根据google查看header头的改变,这里可以参考百度http://jingyan.baidu.com/article/27fa73268ff4e146f8271f33.html

版权声明:本文为博主原创文章,未经博主允许不得转载。

数据分析:留存率曲线拟合

留存率,在数据分析中,我认为是一个比较好用的指标,因为比较稳定,不会很容易受外界因素的干扰,大幅波动。例如活动,推广等。可以用来做用户的分类,做用户规模预测。 我们看到的留存曲线通常是这样的: ...

Python Requests快速入门

快速上手 迫不及待了吗?本页内容为如何入门Requests提供了很好的指引。其假设你已经安装了Requests。如果还没有, 去 安装 一节看看吧。 首先,确认一下: Request...
  • iloveyin
  • iloveyin
  • 2014年03月18日 10:09
  • 183298

Python-第三方库requests详解

Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HT...

数据分析:留存率曲线拟合

留存率,在数据分析中,我认为是一个比较好用的指标,因为比较稳定,不会很容易受外界因素的干扰,大幅波动。例如活动,推广等。可以用来做用户的分类,做用户规模预测。 我们看到的留存曲线通常是这样的: ...

TypeError: fun() got multiple values for argument 'arg'

1、错误描述>>> def fun(arg): pass; >>> fun(1,arg=3); Traceback (most recent call last): File "", line...

pache 显示这样的错误时 "Request exceeded the limit of 10 internal redirects due to probable configuration er

apache 显示这样的错误时 "Request exceeded the limit of 10 internal redirects due to probable configuration ...

mysql异常com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: Lock wait timeout exceeded

问题场景:应用调用数据库mysql提示: com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: Lock wait t...

解决Fatal error: Maximum execution time of 30 seconds exceeded in...的问题

今天做内容采集的时候,因为循环内容较多,程序运行时间太长,所以出现【错误提示:Fatal error: Maximum execution time of 30 seconds exceeded in...
  • fei003
  • fei003
  • 2016年12月30日 17:24
  • 437

报错:Maximum execution time of 30 seconds exceeded解决方法

今天遇到报错,由于有个特殊请求的等待时间很难做到在30s内。 就会出现Maximum execution time of 30 seconds exceeded这个错误。 ...
  • cty093
  • cty093
  • 2015年12月30日 11:15
  • 540

解决php网页运行超时问题:Maximum execution time of 30 seconds exceeded

Fatal error: Maximum execution time of 30 seconds exceeded in C:\Inetpub\wwwroot\ry.PHP on line 11
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
举报原因:
原因补充:

(最多只允许输入30个字)