当爬虫遇上重定向

最新推荐文章于 2024-11-22 13:52:04 发布

Asinglepyer

最新推荐文章于 2024-11-22 13:52:04 发布

阅读量4.5k

点赞数 3

分类专栏： python学习之爬虫文章标签： Python 爬虫重定向

本文链接：https://blog.csdn.net/weixin_41421609/article/details/83052497

版权

本文介绍了爬虫在遇到重定向问题时如何处理，通过实例分析了两种重定向方式，并提出了两种解决方法，包括设置`allow_redirects=False`以及使用正则表达式匹配重定向URL。建议在小规模爬虫中结合输出信息逐步调试，对于Scrapy框架可利用内建机制处理重定向。此外，推荐使用抓包工具理解HTTP交互以应对更复杂的重定向场景。

摘要由CSDN通过智能技术生成

爬虫之处理重定向问题

问题导论
什么是重定向？

简单的说，重定向就是请求被转发到其他页面去了
在生活中，当我们打开一个网址时，往往需要等待稍长一段时间，而最终的网址也发生的变化，这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题，但是，当我们使用爬虫来爬取这样的页面时，真正的网址就会被忽略。那么，我们该如何处理这样的情况呢？
实例分析
下面我们以两个个真实的网址，我们要提取它的title，提取的表达式很简单：

/html/head/title/text() #使用的xpath

主体代码

代码一：

import requests  #导入模块
#声明头部
header= {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0"
}

html=requests.get("http://med.tongji.edu.cn",headers=header)

print(html.text)

相信大家都使用过这样的代码

让我们来看看结果