requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

原创 2017年08月11日 16:38:54

在使用get或者post的爬虫的时候可能会报错:
raise TooManyRedirects(‘Exceeded %s redirects.’ % self.max_redirects, response=resp)
requests.exceptions.TooManyRedirects: Exceeded 30 redirects.’

原因
因为header头的改变,例如爬虫爬取豆瓣页面的时候,登录header头里面的Host:www.douban.com,但是登录成功以后爬取电影页面的相关内容的时候,Host:movie.douban.com

可以根据google查看header头的改变,这里可以参考百度http://jingyan.baidu.com/article/27fa73268ff4e146f8271f33.html

版权声明:本文为博主原创文章,未经博主允许不得转载。

Python3 爬取信息时TooManyRedirects错误解决方案

在抓取steam游戏名称时发现以下错误:requests.exceptions.TooManyRedirects: Exceeded 30 redirects错误提示是requests库有太多的重定向...
  • Eugene_3972
  • Eugene_3972
  • 2017年12月05日 11:39
  • 545

Scrapy 抓取疑惑问题,未解决!!!

版本python3.5 scrapy 1.4抓取链家数据的时候,抓到一定数据量会卡住不前,不知道问题原因,在setting设置了一些参数,但是并没有感觉到效果。我记得以前使用scrapy设置timeo...
  • MakeRoomFor1
  • MakeRoomFor1
  • 2017年12月11日 11:07
  • 188

数据分析:留存率曲线拟合

留存率,在数据分析中,我认为是一个比较好用的指标,因为比较稳定,不会很容易受外界因素的干扰,大幅波动。例如活动,推广等。可以用来做用户的分类,做用户规模预测。 我们看到的留存曲线通常是这样的: ...
  • vinking934296
  • vinking934296
  • 2017年03月22日 11:44
  • 1552

Python Requests快速入门

快速上手 迫不及待了吗?本页内容为如何入门Requests提供了很好的指引。其假设你已经安装了Requests。如果还没有, 去 安装 一节看看吧。 首先,确认一下: Request...
  • iloveyin
  • iloveyin
  • 2014年03月18日 10:09
  • 194557

Python-第三方库requests详解

Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HT...
  • u013660039
  • u013660039
  • 2016年12月08日 11:07
  • 6286

浅谈iOS MVC 学习基础

转载:http://blog.chinabyte.com/a/1557371.html                 iOS MVC 学习基础是本文要介绍的内容,先来看内容。相信说起MVC(Mo...
  • samuelltk
  • samuelltk
  • 2012年03月07日 09:46
  • 763

CSDN 博客备份工具

前言 核心 登录模块 备份模块 博文扫描模块 演示 如何使用 效果 总结前言近段时间以来,听群友博友都在谈论着一件事:“CSDN博客怎么没有备份功能啊?”。这其实也在一定程度上表征着大家对于文章这种知...
  • Marksinoberg
  • Marksinoberg
  • 2017年04月29日 10:59
  • 9300

Spring-Mybatis整合时,无法连接数据库,Cannot create PoolableConnectionFactory

今天在用mybatis和Spring进行整合的时候,遇到了一个问题, 明明 数据源配置正确,org.mybatis.spring.SqlSessionFactoryBean也配置正确,map...
  • qq_26517983
  • qq_26517983
  • 2017年11月23日 11:17
  • 171

python的requests库详解

Python-第三方库requests详解 Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urlli...
  • zezai3010
  • zezai3010
  • 2017年11月30日 23:56
  • 60

python爬虫常见异常及处理方法

欢迎使用Markdown编辑器写博客在编写python爬虫时经常会遇到异常中断的情况,导致爬虫意外终止,一个理想的爬虫应该能够在遇到这些异常时继续运行。下面就谈谈这几种常见异常及其处理方法: 异常1:...
  • woyaojinqu
  • woyaojinqu
  • 2017年10月05日 15:25
  • 625
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
举报原因:
原因补充:

(最多只允许输入30个字)