python爬虫获取跳转后的响应url

最新推荐文章于 2023-05-17 12:34:00 发布
原创 最新推荐文章于 2023-05-17 12:34:00 发布 · 1.6w 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python爬虫

本文介绍了一种解决爬虫中遇到的长URL重定向问题的方法，通过分析响应头获取跳转后的URL，避免了因字段限制导致的数据入库失败。示例代码使用Python的requests库实现。

** 在爬虫中经常会遇到网页给的某个url是跳转前的url,这类请求url一般很长,假如数据库建表时字段限制,则会无法入库,从而导致拿不到数据,看了下网上其他教程,较为繁琐.我在这提供一种思路及代码片段供大家参考.
浏览器向请求url发送请求,如获取到正常的响应,则一般相应状态码时300~305,随后会重定向到另一url(响应url),想到这一点其实就很好解决了.
可打印出相应头内容,在对应json中找到响应url,因为响应内容比较少,可以直接将url提出.我以一淘宝中分离天猫商品的url为例.
**

import requests
def get_redirect_url():
	url = """https://mclick.simba.taobao.com/cc_im?p=INC.redible&s=936271675&k=705&e=cf5Imw38zyT5LeEXLaoxX6gUJlv1pJiLeYS7ah10x8Plp95OWMW%2BVsso8ajx2qSZMHlKHH3GzaQJHiACcFM5PxMDWFwAo9PcY8S1Kuu7YOyaGIYBEZ9QdoMkKz82auCyNZ8bbUQVevFDzlFKxKHX%2Bp%2B%2FHAxpbvW62yiplFhHxAH%2BawzgNyHhNToiFWC%2FBivB3jGPPFqsRTmgWZf7Jshf%2F3NiXmDmL2WTZIU5wKgaeMLtxOLeyKFscBa2Gk%2FOQhS8QXtTBDucRxBcs%2BVbDLrgv3sZMGT3feX36D97LAShJd9MD5XRvHMkUiZ1X4oJf5e8A6wPbXazQ2BhHsqQJmOwW9ar422dxWmq6T1gXauzR9E6oGhtUAciYbZaIvTFPP5WiT5P4ZqSyXv%2FAAyqVXSIM8XLmjd2EBjqrva4CfegCkInOOBujZnCbYEbowsFHgfR4klATU%2BeMdP8aDAcIpvzCSUcQNNzEWczs6wXvWHBKPJKcRl8kP87KeIj1Nss8uZy6C8bX1UJGOX%2FKSRGD7W4PJ8izCG1Zvrbv1PWRmQ4wv%2B2uMM0StYEtjos6rPV5rBcSkwsiLYYrk1N%2BVEWn%2Fpm2D4q1HyKX658ob7TuonqLw7YJdkISO06Ojpj%2BnSXK0fDqKFI84lIBbCoaWX72cFm8FZSwYoxbzwwrE%2FS4mjROCmofgQh%2BXArHCoRdQ2u3FB%2B"""

	headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
}

       response = requests.get(url,headers=headers)

       #print(response.headers)
       return response.headers['Url-Hash']

get_redirect_url()

即可获取到跳转后的url

python获取淘宝客链接跳转后的url网址（使用selenium）
shjsfx的博客
05-08 2864
看到很多人需要，但网上现成的代码都不能直接使用，所以特意分享一下。也可以用于获取各种跳转链接跳转后或者重定向后的url。 #引入必需的模块 from selenium import webdriver from selenium.webdriver.chrome.options import Options #原始url，链接是网上找的，这里只做演示 req_url = "https://s.click.taobao.com/t?spm=a2e15.11083356.10000.ds4&a.
python 重定向获取真实url的方法
09-20
今天小编就为大家分享一篇python 重定向获取真实url的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python获得页面跳转的最终URL
qq_24499417的博客
11-12 1万+
    本例采用selenium获得最终的网页链接。原来的网址是：http://www.baidu.com/link?url=ojjD2hHxviDl0j4T6MCQzRaQYUyYe0BX2aCXcNI5UliRtQum2Y7XH9_xZ08mzOJH,网页完全加载完成后的网址变为了https://weibo.com/niceinapp?is_hot=1。代码如下： # -*- coding...
python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...
weixin_37988176的博客
11-01 988
用BeautifulSoup爬取了第一页的内容，但是不知道剩下的页面怎么爬。首页链接是长这样的：http://gdemba.gicp.net:82/interunit/ListMain.asp?FirstEnter=Yes&Style=0000100003&UID={A270A117-76A7-4059-AB8F-B11AC370240B}&TimeID=39116.81通过点击一个“后翻一页”的...
python语言的主网站网址-python如何获得一个url地址对应的跳转后的最终网址
weixin_37988176的博客
10-29 777
用selenium+phantonjs...#!/usr/bin/python2.7from twisted.internet import reactorfrom twisted.internet.defer import Deferred, DeferredList, DeferredLockfrom twisted.internet.defer import inlineCallbacksf...
python获取链接跳转后地址_爬虫：获取多次跳转后的页面url
weixin_39653311的博客
11-29 3828
案例：页面中的一个链接，审核元素得到的地址是“http://iphone.myzaker.com/l.php?l=54472e161bc8e0fd4a8b4573” ，点击之后页面自动跳转到另一个地址“http://mp.weixin.qq.com/s?__biz=MjM5NjExNjI4MA==&mid=202695292&idx=1&sn=8638f15ba27381236641077a77d...
python爬虫url跳转，获取跳转地址
一起学习哈
04-14 2856
跳转地址
使用python获取某主页的所有跳转链接
一键难忘的博客
03-18 5627
爬虫（Spider）是一种程序或脚本，专门用于自动地浏览互联网上的信息，将网页上的数据抓取下来并进行处理。爬虫是搜索引擎、数据挖掘、数据分析等领域中的重要工具。爬虫首先向目标网站发起请求，请求特定的页面或资源。爬虫接收到目标网站的响应，其中包含了页面的HTML代码或其他数据格式。爬虫对获取的页面进行解析，提取出需要的信息，可以使用正则表达式、XPath、CSS选择器等工具进行解析。爬虫将解析得到的数据进行存储，通常存储在数据库或文件中。
python爬虫调用网页js_Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程...
weixin_39711348的博客
11-20 712
昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！抓取目标今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！但是发现有个js的请求，点击请求，是...
python怎么调试网页h5页面_【Python】模拟登陆后如何获取跳转的网页？
weixin_39844515的博客
02-20 402
爬取虾米音乐时，模拟登陆网页版地址https://login.xiami.com/member/login后，返回的是一串字符(包括status、jumpurl以及账号信息等)，但无法获取跳转后的网页(http://www.xiami.com/)；通过HttpFox发现：为了得到网页，必须发送登录时获取的cookie，于是添加cookie再进行爬取就可以了！奇怪的是，登陆手机版的网址不需要发送co...
Python爬虫：返回的是url地址
01-07 891
# 返回的是url地址 print(response.geturl())
爬虫：获取多次跳转后的页面url
weixin_30786657的博客
12-23 534
<?php $url = "xxxx"; $xx = get_headers($url,true); var_dump($xx); ?> Nbimer主页 剖面加阴影应该是剖面效果增强最简单的方法了 - 建筑规划 - Nbimer灵感图片知识很漂亮的楼板做法节点 转载于:https://www.cnblogs.com/goldenstones/p/507060...
Python爬虫如何获取重定向后的url
热门推荐
lclfeng的博客
03-18 2万+
在Python爬虫中会遇到url被重定向的情况，比如我点击https://www.test.com/uiehwuhuhgrehgureg.htm跳转到另一个页面，另一个页面的url会变成https://www.test.com/test.htm 使用下面代码可以获取到重定向后的url import requests def get_redirect_url(): ...
python爬虫程序爬取网页航班-Python爬虫获取页面所有URL链接过程详解
weixin_39675513的博客
11-11 384
如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。什么是Beautiful Soup？Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完...
python：获取html网页里面的url链接
chenzhao635的专栏
11-28 1321
import re import requests r = request.get('http://www.163.com') data = r.text link_list = re.findall(r"(?<=href=\").+?(?=\")", data) for url in link_list: print(url)
python request 获取页面跳转_python-基本库-urllib
weixin_39912368的博客
11-21 1030
urllib​www.liaoxuefeng.comhttps://docs.python.org/zh-cn/3/library/urllib.html​docs.python.orgurllib库主要有4个模块。1、urllib.request：打开和读取 URL2、urllib.error：包含 urllib.request 抛出的异常3、urllib.parse：用于解析 URL4、url...
python，爬虫遇到重定向页面，如何获取动向后地址的response headers里的内容？
05-17 1820
在Python中使用爬虫处理重定向页面时，您可以使用requests库来获取重定向后地址的响应头信息。requests库提供了一个参数，可以控制是否允许重定向。当设置时，requests库将自动处理重定向，并返回最终重定向后的响应。
python爬虫url跳转，获取跳转地址和母站
BLACKMONDAY的博客
05-13 3609
python爬虫url跳转，获取挑战地址和母站 from urllib.parse import urlparse import requests # 以百度搜索线性代数 获取搜索列表的url # url访问 地址会跳转 url = "http://www.baidu.com/link?url=ycsxOqAKBDDvm0p7tUifuSyXet6hA7-5WyhQC4Vbhx5xju6EA_ctR6jDmcWNfwanILTRAJ7fxAsEwv9xf7VbosmKTCc8mYKGQ_hbYlETfWUw
python 获取当前网页_你好，想知道python scrapy 如何获取当前页面url?
weixin_39665379的博客
12-02 1464
这里我不解释过多，直接上代码吧：# -*- coding: utf-8 -*-from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelectorfrom scrapy.utils.url import urljoin_rfcfrom scrapy.http import Requestfrom data...
python 爬虫获取不到html的数据源码
最新发布
08-19
### 爬虫无法获取HTML源码的常见原因及解决方法 在使用 Python 进行网页爬取时，有时会遇到无法获取 HTML 源码的问题。这可能是由多种原因造成的，包括网页使用了 JavaScript 动态加载内容、服务器反爬机制、请求头不完整或 IP 被封等。以下是常见的解决方法。 #### 1. 检查请求头信息 一些网站会检查请求头中的 `User-Agent`，如果检测到是爬虫，则会返回空内容或跳转。可以通过在请求中添加合法的请求头来模拟浏览器行为： ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get('https://example.com', headers=headers) print(response.text) ``` #### 2. 使用 Selenium 或 Playwright 模拟浏览器 如果网页内容是通过 JavaScript 动态加载的，`requests` 和 `BeautifulSoup` 无法获取完整的 HTML 内容。此时可以使用 `Selenium` 或 `Playwright` 这类工具模拟真实浏览器行为： ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('https://example.com') print(driver.page_source) driver.quit() ``` #### 3. 处理 AJAX 请求 有些网页的数据是通过 AJAX 请求加载的。此时可以直接分析网页的网络请求，找到数据接口并直接请求该接口获取 JSON 数据： ```python import requests url = 'https://api.example.com/data' response = requests.get(url) print(response.json()) ``` #### 4. 使用代理 IP 防止被封 如果频繁请求导致 IP 被封，可以使用代理 IP 来轮换请求地址： ```python proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080', } response = requests.get('https://example.com', proxies=proxies) print(response.text) ``` #### 5. 设置请求超时与重试机制 有时网络不稳定或服务器响应慢，设置合理的超时时间和重试机制可以提高成功率： ```python from requests.adapters import HTTPAdapter from requests.packages.urllib3.util.retry import Retry session = requests.Session() retry = Retry( total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504] ) session.mount('http://', HTTPAdapter(max_retries=retry)) session.mount('https://', HTTPAdapter(max_retries=retry)) response = session.get('https://example.com', timeout=10) print(response.text) ``` #### 6. 使用异步爬虫框架 对于大规模爬取任务，可以使用异步爬虫框架如 `aiohttp` 或 `Scrapy` 提高效率： ```python import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: html = await fetch(session, 'https://example.com') print(html) asyncio.run(main()) ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值