【爬虫】获取百度搜索结果的最终地址

对于普通网站，只需要通过 resp.url即可获取，但是对于百度系的网站，比如百度百科，百家号等，这种的resp.url 往往会返回类似 https://www.baidu.com/search/error.html 的链接，此时需要如下的方式去获取，这种方式也适用于通过resp.url获取不到最终地址的各种情况。

思路就是在请求时通过参数 allow_redirects 来控制禁止重定向，然后在得到的response的headers中的Location字段，就可以拿到跳转后链接了，缺点是需要多请求一次才能拿到最终结果的htmls

import requests
import json

url = "https://www.baidu.com/link?url=RmSxfv6jOX-RXeVNOuXsZwl6hntyN4cOxN6vh2CSUN0QQV_LWk0Rg0Srxpj2MDVY47oXYKPpS7ojhfFzVccBE6tXPZ1rrd2tSWWVoL1DOn_"
headers = {
	"Host": "www.baidu.com",
	"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
}
resp = requests.get(url,headers = headers,allow_redirects = False)
resp.encoding = "utf-8"
print(resp.url)
print(resp.headers)
item = eval(str(resp.headers))
location_url = item['Location']
print(location_url)