当爬虫遇上重定向

爬虫之处理重定向问题

1. 问题导论
   什么是重定向？
   
   简单的说，重定向就是请求被转发到其他页面去了
   在生活中，当我们打开一个网址时，往往需要等待稍长一段时间，而最终 的网址也发生的 变化，这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题，但是，当我们使用爬虫来爬取这样的页面时，真正的网址就会被忽略。那么，我们该如何处理这样的情况呢？

2. 实例分析
   下面我们以两个个真实的网址，我们要提取它的title，提取的表达式很简单：

/html/head/title/text() #使用的xpath

主体代码

代码一：

import requests  #导入模块
#声明头部
header= {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0"
}

html=requests.get("http://med.tongji.edu.cn",headers=header)

print(html.text)

相信大家都使用过这样的代码

让我们来看看结果

<script type="