Python 获取重定向url

原创 已于 2022-08-23 10:51:37 修改 · 2.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#前端 #python

于 2020-07-24 17:49:45 首次发布
本文介绍了一段使用Python的requests库进行网络请求的实战代码，并增加了重试机制以应对网络不稳定的情况。代码中详细展示了如何设置HTTP头信息、处理异常以及在请求失败时自动重试。

实战代码 

import requests

if __name__ == '__main__':
    http_headers = {
                        'Accept': '*/*',
                        'Connection': 'keep-alive',
                        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
                    }

    try:
        resp = requests.get(url=item, headers=http_headers,timeout=10)
    except Exception as e:
        continue
    print("resp", resp.url)

以上代码未有重试机制，下面加上重试机制加以完善

def get_real_url(url,try_count = 1):
if try_count > 3:
    return url
try:
    rs = requests.get(url,headers=http_headers,timeout=10)
    if rs.status_code > 400:
        return get_real_url(url,try_count+1)
    return rs.url
except:
    return get_real_url(url, try_count + 1)

python获取重定向地址以及图片下载
Headmaster_Tan的博客
10-27 771
代码仅供参考，场景不同的请自行更改 本代码解决的场景 有一个会重定向的链接，重定向的链接是一张随机的图片，将该图片下载到本地，循环下载更多的图片 本代码中图片会下载到和py文件相同的目录下 需要安装：pip install requests 代码如下： import os import time import requests def get_image_url(): url = '会重定向的地址' headers = { 'User-Agent': 'Mozill
python获取重定向url_python中检测url重定向到的地址的例子
weixin_39800387的博客
12-20 515
2016年最长的假期也过了，这周连上7天班，之前还觉得挺恐怖，没想到这周真是要忙死的节凑，还真没觉得多漫长，一晃明天就周五了，干运维的就是突发的事情多，冷不丁的不知道哪里就冒出个问题，就够搞半天的，最近领导有一批站点，需要检测这些站点是否重定向到了其它url上，因为站点太多，这种事就只能通过脚本来实现了，当然我还是用个人最喜欢的request模块来完成这个任务，基本原理就是判断站点返回的statu...
python 重定向获取真实url的方法
09-20
今天小编就为大家分享一篇python 重定向获取真实url的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python 重定向获取真实url
weixin_30748995的博客
11-27 880
通常的返回url： http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safa...
python 多次重定向地址获取
lqbz的总结
11-08 778
多次重定向的Url都可以获取到。
python 重定向获取真实url
热门推荐
泛白小筑
07-20 1万+
楼主在做公司项目的时候遇到url重定向的问题，因此上网简单查找，作出如下结果由于使用的是语言是python所以以下是python的简单解决方案http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/
Python获取重定向链接
小学生的学习记录博客
04-20 689
【代码】Python获取重定向链接。
python接口自动化（十八）--重定向（Location）（详解）
weixin_30393907的博客
04-18 1103
简介 　　在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问，而 是希望通过主域名的二级域名进行访问。所以这个时候就会用到URL重定向。 　　重定向过程好比有个绰号叫“浏览器”的人写信找张三借钱，张三回信说没有钱，让“浏览器”去...
python 重定向 网址错_Python URL重定向问题
weixin_42515101的博客
02-20 355
我有一个链接，我知道它会重定向到另一个终端url，我正试图使用python获取该终端url的地址。但是原始链接有点奇怪，不能像正常的重定向那样工作，我不知道为什么。当我把链接(下面的链接供你尝试，如果你愿意的话)放到浏览器中，它会完美地重定向。但是当我运行下面的代码时，它没有import urllib2request = urllib2.Request('http://www.facebook.c...
Python爬虫后获取重定向url的两种方法
weixin_39568072的博客
05-21 4871
方法（一） # 获得重定向url from urllib import request # https://zhidao.baidu.com/question/681501874175782812.html url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGy
Python爬虫如何获取重定向之后的url
一条小黑龙的博客
11-14 2327
这个是用抖音做测试的，使用response的url属性，就可以获取重定向的地址 import requests url='https://v.douyin.com/J2EarSN/' resp=requests.get(url).url print(resp)
通过请求获取重定向的URL
06-30 894
如果需要在人工智能大模型方面应用这个问题，可以设计一个简单的自然语言处理任务，例如：给定一个网址，预测它最终重定向到哪个URL。这个任务可以通过分析网页的HTML代码和HTTP响应头来实现，具体的方法取决于使用的大模型类型（如GPT-3、BERT等）。assert get_redirect_url('http://example.com') == 'https://www.example.com' # 假设这个URL重定向到https://www.example.com。
python urllib2处理重定向的问题
02-27 4893
需求：因为urllib2自动处理了重定向，如果取到某一步重定向的Location字段？ 重定义urllib2.HTTPRedirectHandler，把重定向过程中的Location都取出来，就OK，如下代码： class SmartRedirectHandler(urllib2.HTTPRedirectHandler):     RedURLs301 = []     R
Python实现HTTP重定向与URL处理
weixin_73725158的博客
04-03 672
在Web开发中，HTTP重定向和URL处理是两个重要的概念。HTTP重定向是指服务器将客户端的请求从一个URL重定向到另一个URL的过程，而URL处理则涉及到对URL的解析、构建和修改等操作。Python作为一种强大的编程语言，提供了丰富的库和工具来处理这些问题。模块提供了强大的HTTP重定向和URL处理功能。无论是发送请求时自动处理重定向，还是对URL进行解析、构建和修改，Python都能轻松应对，为Web开发提供了便利。访问重定向的历史记录，包括每个重定向的状态码和URL。"从 %s 重定向到 %s"
python爬虫post后重定向_Python爬虫后获取重定向url的两种方法
weixin_31180441的博客
01-29 1105
Python爬虫后获取重定向url的两种方法,爬虫,重定向,方法,两种,都是Python爬虫后获取重定向url的两种方法易采站长站，站长之家为您整理了Python爬虫后获取重定向url的两种方法的相关内容。下面给大家分享Python爬虫后获取重定向url的两种方法，具体内容如下所示；方法(一)# 获得重定向urlfrom urllib import request# https://zhidao....
requests重定向
weixin_43690442的博客
12-08 2834
在python的requests文库中介绍到了重定向，并解释了重定向的用法，但是对于我们这些小白来说，重定向意味着什么，重定向作用是什么？ 于是今天便深入研究requests模块重定向深入用法 谈到重定向，这里要从http状态码谈起。 状态码 状态码是网页服务器http响应的3位数字代码。 常见状态码分为 状态码 内容 200 请求成功，服务器已经将请求的响应头和数据返回 20...
Python中HTTP重定向与URL编码的处理
weixin_73725158的博客
04-17 643
URL编码是一种将非ASCII字符转换为可以在URL中安全传输的格式的过程。在Web开发中，HTTP重定向和URL编码是两个非常关键的概念。总的来说，Python提供了强大的库和工具来处理HTTP重定向和URL编码。这样，我们就可以在URL中安全地传输包含非ASCII字符的字符串了。需要注意的是，有时我们可能不希望自动处理重定向，而是想要获取重定向的详细信息。，这样当requests库遇到重定向时，就会自动跟随重定向，并将最终页面的内容返回给我们。在上面的代码中，我们设置了。来查看重定向的历史记录。
备忘录：python.requests获取url（重定向）
sin_404的博客
07-22 1855
import requests url = 'http://home.cnblogs.com/u/xswt/' r = requests.get(url,headers={"Content-Type":"application/json"}) reditList = r.history#可以看出获取的是一个地址序列 print(f'获取重定向的历史记录：{reditList}') print(f'获取第一次重定向的headers头部信息：{reditList[0].headers}') print(f'获取
Python网页重定向
最新发布
10-10
<think>我们参考了5个引用，这些引用主要讨论了Python中处理HTTP重定向的不同方法。用户的问题是："我想了解Python实现网页重定向的方法"。根据引用，我们可以总结如下： 1. 引用[1]和[3]提到了使用Python内置的`http.server`模块进行简单的重定向。 2. 引用[3]还提到可以使用Web框架（如Flask或Django）来实现重定向。 3. 引用[4]和[5]讨论了在爬虫中处理重定向的问题，其中引用[5]详细说明了使用`requests`库时如何处理重定向（自动处理以及通过响应对象的属性判断）。 因此，我们可以将Python实现网页重定向的方法分为两类： - 服务器端重定向：即作为Web服务器的一部分，主动将客户端的请求重定向到另一个URL。这可以通过简单的HTTP服务器模块（如`http.server`）或者Web框架（如Flask、Django）来实现。 - 客户端重定向（主要是爬虫场景）：在客户端（如爬虫）处理服务器返回的重定向响应。这里通常使用`requests`库，它可以自动处理重定向，同时也提供了手动处理的机制。 下面我们详细说明这两类方法。 ### 服务器端重定向的实现 #### 1. 使用`http.server`模块 Python内置的`http.server`模块可以用于创建简单的HTTP服务器。我们可以自定义请求处理程序来实现重定向。 示例代码： ```python from http.server import HTTPServer, BaseHTTPRequestHandler class RedirectHandler(BaseHTTPRequestHandler): def do_GET(self): # 将所有的请求重定向到新的URL self.send_response(302) # 302状态码表示临时重定向 self.send_header('Location', 'http://www.example.com/new-url') self.end_headers() # 启动服务器 server_address = ('', 8000) httpd = HTTPServer(server_address, RedirectHandler) httpd.serve_forever() ``` 在这个例子中，所有访问该服务器的请求都会被重定向到`http://www.example.com/new-url`。 #### 2. 使用Flask框架 Flask是一个轻量级的Web框架，它提供了重定向函数`redirect()`。 示例代码： ```python from flask import Flask, redirect app = Flask(__name__) @app.route('/old') def old_page(): return redirect('/new', code=302) # 重定向到/new @app.route('/new') def new_page(): return 'This is the new page!' if __name__ == '__main__': app.run() ``` 访问`/old`时，会自动重定向到`/new`。 #### 3. 使用Django框架 Django中可以使用`redirect()`函数或者`HttpResponseRedirect`类实现重定向。 示例代码： ```python from django.http import HttpResponseRedirect from django.urls import reverse def old_page(request): # 使用HttpResponseRedirect重定向 return HttpResponseRedirect(reverse('new_page')) # 假设'new_page'是新的URL的名称 def new_page(request): return HttpResponse('This is the new page!') ``` ### 客户端处理重定向（爬虫场景） #### 使用`requests`库 在爬虫中，我们经常需要处理重定向。`requests`库默认会自动处理重定向（对于GET和HEAD请求）。如果需要控制重定向行为，可以使用`allow_redirects`参数。 示例1：自动重定向（默认） ```python import requests response = requests.get('http://example.com/old-url') # 如果发生重定向，最终响应的url是重定向后的url print(response.url) # 输出重定向后的URL print(response.history) # 重定向历史，是一个响应列表 ``` 示例2：禁止重定向 ```python import requests response = requests.get('http://example.com/old-url', allow_redirects=False) print(response.status_code) # 302, 301等重定向状态码 print(response.headers['Location']) # 重定向的目标URL ``` 示例3：手动处理重定向 如果需要更复杂的处理，可以禁用自动重定向，然后根据响应头中的Location字段手动请求新的URL。 ```python import requests session = requests.Session() # 使用会话以保持Cookie等信息 response = session.get('http://example.com/old-url', allow_redirects=False) if response.status_code in (301, 302, 303, 307): redirect_url = response.headers['Location'] # 确保重定向URL是绝对URL，可能需要拼接 new_response = session.get(redirect_url) # 使用new_response进行处理 ``` ### 总结 Python实现网页重定向的方法主要有： 1. **服务器端重定向**： - 使用内置`http.server`模块自定义处理程序。 - 使用Web框架（如Flask、Django）提供的重定向功能。 2. **客户端处理重定向**（爬虫场景）： - 使用`requests`库，默认自动处理重定向。 - 通过设置`allow_redirects=False`禁用自动重定向，手动处理重定向逻辑。 在实际应用中，服务器端重定向是主动设置的重定向规则，而客户端处理重定向则是作为客户端（如浏览器或爬虫）对服务器返回的重定向响应进行处理。 §§相关问题§§ 1. 在Flask中如何实现永久重定向（301）？ 2. 使用`requests`库时，如何获取重定向的历史记录？ 3. 在Django框架中，重定向有哪些不同的方法？ </think>### Python实现网页重定向的方法 在Python中，实现网页重定向主要有两类场景：**服务器端重定向**（作为服务提供方）和**客户端重定向处理**（如爬虫场景）。以下是核心实现方法： --- #### 一、服务器端重定向（Web开发场景） 1. **使用内置`http.server`模块** 创建自定义请求处理器，通过设置HTTP状态码和`Location`头部实现重定向： ```python from http.server import HTTPServer, BaseHTTPRequestHandler class RedirectHandler(BaseHTTPRequestHandler): def do_GET(self): self.send_response(302) # 302: 临时重定向 self.send_header('Location', 'https://new-url.com') # 目标URL self.end_headers() server = HTTPServer(('localhost', 8000), RedirectHandler) server.serve_forever() ``` 2. **通过Web框架实现** - **Flask框架**（使用`redirect()`函数）： ```python from flask import Flask, redirect app = Flask(__name__) @app.route('/old-page') def old_page(): return redirect('https://new-url.com', code=302) # 可指定301/302 ``` - **Django框架**（使用`HttpResponseRedirect`）： ```python from django.http import HttpResponseRedirect def old_page(request): return HttpResponseRedirect('/new-page/', status=301) # 永久重定向 ``` --- #### 二、客户端重定向处理（爬虫场景） 1. **自动处理重定向（默认行为）** 使用`requests`库时，默认自动跟随重定向： ```python import requests response = requests.get('http://old-url.com') print(response.url) # 打印最终URL（重定向后） print(response.status_code) # 最终状态码（如200） ``` 2. **手动控制重定向** 禁用自动重定向并自行处理： ```python response = requests.get('http://old-url.com', allow_redirects=False) if response.status_code in (301, 302, 303): new_url = response.headers['Location'] print(f"重定向到: {new_url}") # 手动发起新请求 new_response = requests.get(new_url) ``` 3. **HTML元标签重定向处理** 处理`<meta http-equiv="refresh">`类型的重定向： ```python from bs4 import BeautifulSoup import requests html = requests.get('http://old-url.com').text soup = BeautifulSoup(html, 'html.parser') meta = soup.find('meta', attrs={'http-equiv': 'refresh'}) if meta: content = meta['content'] wait, new_url = content.split(';')[0], content.split('=')[1] response = requests.get(new_url.strip()) ``` --- #### 关键区别总结 | 场景 | 技术方案 | 典型状态码 | |--------------------|----------------------------|-------------| | **服务器端重定向** | `http.server`/Flask/Django | 301, 302 | | **客户端自动处理** | `requests`（默认） | 200（最终） | | **客户端手动处理** | 解析`Location`头部 | 301, 302 | | **HTML元重定向** | BeautifulSoup解析 | 无状态码 | > 注：服务器端重定向由**服务端主动触发**，客户端重定向是**对服务器响应的被动处理** [^1][^2][^3][^5]。 --- ### 相关问题 1. 如何用Python检测网页是否包含重定向？ 2. 在Flask/Django中如何实现条件重定向（如用户登录检测）？ 3. 处理HTTPS重定向时有哪些安全注意事项？ 4. 如何模拟浏览器行为处理JavaScript重定向？ [^1]: Python实现HTTP重定向处理 [^2]: Python中处理HTTP重定向 [^3]: 在Python中HTTP重定向 [^4]: python爬虫解决网页重定向问题 [^5]: python爬取重定向的网页
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨痕诉清风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值