post请求跳转页面_Python post请求模拟登录淘宝并爬取商品列表！

最新推荐文章于 2024-03-15 11:08:30 发布
VIP文章 最新推荐文章于 2024-03-15 11:08:30 发布
阅读量2.9k 收藏 4
点赞数 2
文章标签： post请求跳转页面 去掉不登录不能请求的限制 页面重新登录后input框筛选条件还在

一、前言

大概是一个月前就开始做淘宝的爬虫了，从最开始的用selenium用户配置到selenium模拟登录，再到这次的post请求模拟登录。一共是三篇博客，记录了我爬取淘宝网的经历。期间也有朋友向我提出了不少问题，比如滑块失败，微博登录失败等，可以说用selenium模拟登录这方面，坑特别多，直接加载用户配置又很笨重，效率低下。所以这次尝试构造post请求表单，模拟登录。

二、模拟登录

1）用浏览器走一遍登录过程

先把淘宝网的cookies全部清除，然后访问淘宝：https://www.taobao.com，这时候是不需要登录的。

在搜索框搜索iphone，立即跳出了登录页面，它的url是：https://login.taobao.com/member/login.jhtml?redirectURL=http%3A%2F%2Fs.taobao.com%2Fsearch%3Fq%3Diphone%26imgfile%3D%26commend%3Dall%26ssid%3Ds5-e%26search_type%3Ditem%26sourceId%3Dtb.index%26spm%3Da21bo.2017.201856-taobao-item.1%26ie%3Dutf8%26initiative_id%3Dtbindexz_20170306&uuid=f6dd176ff336683f5d47fc1cb16504af

很长很长，但标红的这部分url很重要，redirectURL是重定向url，登录后会跳转到这个url，当然这个是经过url编码的。

340f6d33caa22603fac97d820d61b214.png

90afe402a6b26b1162fca9f18200612b.png

​


其余后面的参数很乱，不知道有用没用，先试一下，把后面的参数去掉，访问https://login.taobao.com/member/login.jhtml?redirectURL=http%3A%2F%2Fs.taobao.com%2Fsearch%3Fq%3Diphone看看能不能行：

3fe6bb6a39f91e91145c1e0882fedabc.png

90afe402a6b26b1162fca9f18200612b.png

​


可以进入登录页面，那能不能登录呢？

a5c025a21c21418bbbee5f16d42c0655.png

90afe402a6b26b1162fca9f18200612b.png

​


好，正如上面所说，跳转到了这个url。

2）用抓包工具分析登录过程

既然可行，那么接着再来一次，这次看看这个过程都发起了哪些请求，提交了哪些数据。（别忘记清除cookies）

可以使用浏览器开发者模式也可以使用抓包工具Fiddler，使用浏览器的话要打开Preserve log

222f5ee70ecfd919fb966e8ef40b007c.png

90afe402a6b26b1162fca9f18200612b.png

​


我用的是Fiddler

设置抓取的User-Agents为Chrome

c3444d4d6f6db17b8663cd0b8f7ef68a.png

90afe402a6b26b1162fca9f18200612b.png

​


直接访问：https://login.taobao.com/member/login.jhtml?redirectURL=http%3A%2F%2Fs.taobao.com%2Fsearch%3Fq%3Diphone

点击登录。查看请求记录。

b51d4c4d5a7c4c4094a647db67ec9fca.png

90afe402a6b26b1162fca9f18200612b.png

​


这是两个非常重要的url

第一个是最开始访问的登录页面，一个普通的get请求，第二个就不同了，它是一个post请求，其中表单包含了大量的数据信息

0bb4208fe529a97333e0ffb871be9892.png

90afe402a6b26b1162fca9f18200612b.png

​


内容虽然很多，但经过我多次的测试和比对后，发现了如下几条规律：

1、loginId一眼就可以看出是账号，ua猜测为一种加密后的用户标识，password2猜测为加密后的密码。这三条信息可以当作固定值反复使用

2、_csrf_token, umidToken, hsiz隐藏在登录页面里

ebd7556a808e767eb0149ece14798f7d.png

90afe402a6b26b1162fca9f18200612b.png

​

3、其他的都是不变的

3）代码实战

文件名为login.py，类名为Login

class Login:
    """
    模拟登录并获取cookies
    """

    def __init__
最低0.47元/天 解锁文章
weixin_39591455
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【转载】Python使用POST方法实现开机自动登陆大连海事校园网
kofi的博客，已停更
12-03 1315
Python 实现大连海事校园网登录
Ajax post请求跳转页面
10-20
主要介绍了Ajax post请求跳转页面的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下
易语言淘宝登陆(不带验证码)源码,易语言淘宝登陆(带验证码)源码,
07-19
易语言淘宝网POST登陆源码,淘宝网POST登陆
Python 淘宝系列(三)： 模拟登陆成功后获取购物车信息
weixin_33951761的博客
01-13 865
2019独角兽企业重金招聘Python工程师标准>>> ...
已解决 Ali140-227，x82y，x5sec，阿里滑块，淘宝滑块，tb滑块
rql0719的博客
03-01 843
Ali140-227，x82y，x5sec，阿里滑块，淘宝滑块，tb滑块。目前x5sec滑块已成功过， 有遇到问题的小伙伴可以加企鹅=/
记录okhttp的post登录淘宝保存cookie到webview上遇到的坑
u010842725的博客
06-23 1841
先说下项目需求：自己写了个淘宝登录界面，点击登录后会调用使用okhttp post登录淘宝，okhttp的onResponse方法返回一个登录后html网页，将返回的网页显示到webview。遇到的问题：okhttp post登录淘宝成功，通过okhttp的cookiejar获取登录后的cookie，同步到webview失效，webview显示的还是登录的网页。下面记录一下我的实现过程：1：自己写...
淘宝/天猫上传图片到淘宝 API接口（淘宝上传宝贝图片）
API_you847337137的博客
03-15 799
在淘宝/天猫平台上，上传图片到淘宝的API接口通常用于商品发布或更新过程中，将图片上传到淘宝的图片服务器，并获取图片的URL，以便在商品详情页展示。
python post 登录_Python爬虫之模拟表单登录post 请求
weixin_33122947的博客
03-01 996
现在许多的网站都是需要登录验证后才能访问该网站的页面，爬虫(网络机器人【spider】)该怎么获取这些页面呢！是的，爬虫也是需要登录的，才能获取到后面的页面。对于登陆情况的处理2.1使用表单登陆这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。data ={'data1':'XXXXX', 'data2':'XXXXX'}Requests：data为dict...
Python+selenium模拟登录新方案
weixin_42108731的博客
06-21 1093
Python+selenium模拟登录新方案
python post 请求登录后的页面_Python3 Post登录并且保存cookie登录其他页面的操作步骤...
weixin_39737831的博客
12-08 263
Python3 Post登录并且保存cookie登录其他页面的方法如下所示：import urllib.requestimport sysimport http.cookiejarimport urllib.parsefrom bs4 import BeautifulSoupimport codecsimport re#登录页面url = "http://www.abc.com/login.asp...
python爬虫用户名密码登录POST
yangwei256的博客
06-26 4678
# -*- coding: utf-8 -*- """ Created on Wed Jun 6 13:18:58 2018 @author: Lenovo """ # -*- coding: utf-8 -*- import requests import urllib import random from datetime import datetime # python2 和 python3的兼容代码 try: # python2 中 import cookielib .
大麦网H5、小程序、APP抢票解决.zip
11-13
购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考 购票辅助工具app 用于个人买票使用 供参考
password2逆向
12-23
淘宝登录接口的password2参数逆向js全代码
Python3模拟curl发送post请求操作示例
12-31
本文实例讲述了Python3模拟curl发送post请求操作。分享给大家供大家参考，具体如下： 后端给的接口样式： curl “http://65.33.44.43:509/pre/update” -H “Content-Type: text/json” -d ‘{“TYPE”:”PRE-...
python爬取网页数据+json数据处理+post请求处理-spider.py
08-18
python3代码，包含了处理post请求爬取网页数据代码，注释部分包括对json数据的处理。如果有疑问，随时扣me *-*
利用python模拟实现POST请求提交图片的方法
12-24
本文主要给大家介绍的是关于利用python模拟实现POST请求提交图片的方法，分享出来供大家参考学习，下面来一看看详细的介绍： 使用requests来模拟HTTP请求本来是一件非常轻松的事情，比如上传图片来说，简单的几行...
基于Python的Post请求数据爬取的方法详解
09-19
主要介绍了基于Python的Post请求数据爬取的方法,需要的朋友可以参考下
Linux操作系统相关习题集
04-25
Linux操作系统相关习题集，包含常用名、Linux系统基础知识等
基于java的-30-「计算机毕业设计」基于net的湖南特产销售网站-源码.zip
最新发布
04-25
提供的源码资源涵盖了Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
python flask以post方式跳转网页并传递参数
03-10
可以使用 Flask 中的 redirect 和 url_for 函数来实现以 POST 方式跳转网页并传递参数。具体实现方法可以参考以下代码： ```python from flask import Flask, redirect, url_for, request app = Flask(__name__) @app.route('/login', methods=['POST']) def login(): username = request.form['username'] password = request.form['password'] # 验证用户名和密码 if username == 'admin' and password == '123456': # 登录成功，跳转到首页并传递参数 return redirect(url_for('index', username=username)) else: # 登录失败，返回登录页面 return redirect(url_for('login_page')) @app.route('/') def index(): username = request.args.get('username') return f'欢迎您，{username}！' @app.route('/login') def login_page(): return ''' <form method="post" action="/login"> <input type="text" name="username" placeholder="用户名"><br> <input type="password" name="password" placeholder="密码"><br> <button type="submit">登录</button> </form> ''' if __name__ == '__main__': app.run() ``` 在上面的代码中，我们定义了一个 `/login` 路由，用于处理用户登录请求。当用户提交登录表单时，我们会获取表单中的用户名和密码，进行验证。如果验证通过，我们就使用 `redirect` 函数跳转到首页，并使用 `url_for` 函数生成首页的 URL，并在 URL 中传递用户名参数。如果验证失败，我们就使用 `redirect` 函数跳转回登录页面。 在首页的路由中，我们使用 `request.args.get` 方法获取 URL 中传递的参数，并在页面中显示欢迎消息。 在登录页面的路由中，我们定义了一个简单的 HTML 表单，用于让用户输入用户名和密码，并提交登录请求。注意，我们在表单中指定了 `method="post"`，表示这是一个 POST 请求。当用户点击登录按钮时，表单数据会被提交到 `/login` 路由中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值