python2+requests+模拟用户登录+重定向

最新推荐文章于 2024-07-10 08:43:38 发布
最新推荐文章于 2024-07-10 08:43:38 发布
阅读量1.2w 收藏 12
点赞数 3
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rifengxxc/article/details/77414090
版权
本文通过Python2和requests库演示如何模拟用户登录并处理重定向，以学校图书馆登录为例，利用firebug抓包获取POST参数，并在响应头中处理cookie，最后讨论了urllib2库在处理重定向时携带cookie的问题及其解决方案。
摘要由CSDN通过智能技术生成

由于公司要用到模拟用户登录，于是用学校图书馆读者登录来进行练习。

工具是python2 + requests第三方库+火狐浏览器的firebug进行http抓包

目标 用python成功登录学校图书馆

接下来几篇会利用urllib和urllib2标准库进行登录

以下为具体步骤：

1 打开学校图书馆网址，以下为登录界面

2 在firebug上可以看到登录的http请求，发现有302和200两个状态码，一个是登录post，返回302，说明有重定向；之后请求重定向url，得到正确的登录。而requests库对重定向可以正确解决。


3 看一下post请求和响应的头部信息，使得python代码模拟浏览器，可以在响应头部看到服务器发了cookie。在post参数中textBox1、2对应着读者号和密码。有了这两个信息，我们就可以写python代码了

最低0.47元/天 解锁文章
rifengxxc
关注
专栏目录
python模拟登陆遇到重定向_【Python】python requests模拟登陆出现重定向的问题？
weixin_42352222的博客
02-04 535
我用python的requests模拟登陆我学校的一个网站，用登陆返回的cookie来访问其中一些需要登陆才能访问的网页，有些网页可以访问，但是有些网页返回的却是登陆页面，为什么回这样？我用wireshark抓包看了一下，出现302重定向的问题，就是我访问一些网页回重定向到登陆页面，但有些网页又不会，这是为什么呢？python爬虫新手，希望各位大佬多多指教代码如下：#coding:utf-8imp...
2 python requests
心语Alisen
03-23 149
requests 请求百度 import requests url = 'https://www.baidu.com' response = requests.get(url) # 使用requests库向百度发起一个请求 print(response.text) # 打印接口返回的文本内容，若返回为json数据则打印返回的json print(response.json()) # 打印返回的json数据，如果返回数据结构不是json则会抛出异常 # 接口请求中常用接口返回的json数据进行断言、数据
python 重定向 网址错_python爬虫解决网页重定向问题
weixin_29507477的博客
02-03 262
笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法(本文提到的为3种)将各种网络请求重新转到其它位置(URL)。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。以下列出遇到的3种重定向情况(使用python2.7+requests编写爬虫)：1.服务器端重定向在服务器端完成，一般来说爬...
python接口自动化（十八）--重定向（Location）（详解）
最新发布
北京-宏哥的博客
07-10 935
在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问，而是希望通过主域名的二级域名进行访问。所以这个时候就会用到URL重定向。重定向过程好比有个绰号叫“浏览器”的人写信找张三借钱，张三回信说没有钱，让“浏览器”去找李四借，并将李四现在的通信地址告诉给了“浏览器 ”。
Python爬虫(2):Requests的基本用法
hzp666的博客
03-21 603
Python爬虫(2):Requests的基本用法虽然Python有内置的urllib库，可以实现网络的请求，但是我并不推荐。因为urllib在很多时候使用起来不方便，比如加一个代理，处理Cookie时API都很繁琐，再比如发送一个POST请求也很麻烦。而Requests就相当于urllib的升级版本，简化了urllib的使用方法。有了Requests，我们可以用几句代码实现代理的设置，Cooki...
python模拟登陆遇到重定向_python - scrapy模拟登陆知乎出现重定向无法登陆问题
weixin_34588509的博客
02-04 217
当我使用scrapy想进行模拟登陆, 然后抓取首页的问题和答案时, 一直显示重定向问题 pythonfrom scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.selector import Selectorfrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtract...
python网址重定向
异想实验室|Arduion|ESP8266|Micro Python|
09-06 474
def URL_decoding(url): # 请求头，这里我设置了浏览器代理 headers = headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'} response = requests.get(url, headers=he.
python测试框架-python+requests+uiautomator2
03-28
`requests`是Python的一个强大库，用于发送HTTP请求，而`uiautomator2`则是一个Android UI自动化测试框架，它允许开发者模拟用户与设备的交互，进行各种UI级别的测试。 首先，让我们深入了解一下`requests`库。`...
python模拟登陆遇到重定向_Python爬虫模拟登录失败，重定向到登录页面解决方法。...
weixin_33549415的博客
02-04 1584
今天尝试模拟登录一个网站，由于要爬的页面必须登录才能访问，所以我用requests.Session()来保持Cookie，再访问要爬的页面。但是这个爬虫有时模拟登录成功，有时失败，很奇怪。测试是否登录成功的代码片段如下：account_page = 'https://example.com/mypage'response = session.get(account_page)if response...
python 重定向获取真实url的方法
09-20
今天小编就为大家分享一篇python 重定向获取真实url的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
全网最详细的Python+Requests接口测试教程：Fiddler抓包工具
HB8888888的博客
02-17 4003
目录 为什么要先学fiddler？ 1.1 抓firefox上https请求 1.2 证书导出失败问题 1.3 只抓APP的请求 1.4 查看get与post请求 1.5 工具介绍（request和response） 1.6 接口测试（Composer） 1.7 get请求（url详解） 1.8 post请求（body） 1.9 打断点（bpu） 1.10 会话保存 1.11 自定义会话框 1.12 http协议简介 1.13 请求行 正文 本书涵盖内容：fiddler、h
使用Python快速生成重定向网页＞_（Python编程 | 系统编程 | 完整的系统程序 | 生成重定向网页）
BeacherHou的博客
08-17 429
《Python编程》笔记专栏现以开源到Gitee，其中包含我编写的示例程序文件和官方示例程序文件，以及md形式的笔记，欢迎各位给个Star。 文章目录生成重定向网页页面模板文件页面生成器脚本 生成重定向网页 页面模板文件 示例：template.html <HTML> <head> <META HTTP-EQUIV="Refresh" CONTENT="10; URL=http://$server$$home$$file$"> .
python模拟登陆遇到重定向_Python requests jira登录302重定向
weixin_39614874的博客
12-05 796
总结一下自己在用Python requests库对jira进行的一个bug统计时，在登录遇到的问题，以前也遇到过登录302重定向的问题，那个时候用requests同样的方法没有获取到cookie，但是jira可以用requests获取到cookie，我也不知道怎么回事网上百度了很多资料，好多都是用jira这个库来来统计的，但是我想自己用Python来写一下，以下做个记录，1，首先了解一下接口登录大...
python2 requests模块_Python requests模块
weixin_40001309的博客
12-03 1088
准备工作这一部分需要用到request模块，准备工作就是安装request模块。用request.get()发起请求import requests# 1、构造请求的URLurl = "http://..."# 2、创建请求参数params = {"mobilephone": "18012345678","pwd": "123456","regname": "zfy"}headers ={"User...
python爬虫解决网页重定向问题
weixin_33708432的博客
08-01 1454
笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。 以下列出遇到的3种重定向情况（使用python2.7+reque...
python2 requests模块_python requests模块详解
weixin_39709979的博客
02-03 2972
requests是Python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的：python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。我也看了下requests的文档，确实很简单，适合我这种懒人。下面就是一些简单指南。插播个好消息！刚看到reques...
[Python] urllib2.HTTPError: HTTP Error 403: Forbidden
weixin_30697239的博客
03-14 152
搬运自http://www.2cto.com/kf/201309/242273.html，感谢原作。 之所以出现上面的异常,是因为如果用 urllib.request.urlopen 方式打开一个URL，服务器端只会收到一个单纯的对于该页面访问的请求。但是服务器并不知道发送这个请求使用的浏览器，操作系统，硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。有些网站为了防止这种非正...
Python爬虫实战：Requests+BeautifulSoup获取网页标题
1. **Python Requests库**： - `requests.get(url, params=None, **kwargs)`：发送一个GET请求到指定URL。`params`参数可以用来传递查询参数，`**kwargs`可以设置其他请求头，如`headers`，用于模拟浏览器行为。 -...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值