python爬虫 模拟登陆

最新推荐文章于 2024-08-15 12:14:28 发布
最新推荐文章于 2024-08-15 12:14:28 发布
阅读量2.7k 收藏 7
点赞数
分类专栏： 爬虫 python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/greenchina1992/article/details/49663535
版权
本文介绍了在学习Python爬虫过程中遇到的模拟登录问题，特别是针对存在统一身份认证界面的网站。通过分析登录时的数据交换，找到真实的提交表单网址，并利用urllib2库的cookie功能解决验证码获取，同时处理登录过程中的重定向问题。
摘要由CSDN通过智能技术生成

最近在学习python爬虫，前几天接触到模拟登陆这一块，其实之前就有接触过，但时间有点久远就遗忘了。在看了汪海的[Python]网络爬虫（十）：一个爬虫的诞生全过程（以山东大学绩点运算为例）这篇文章后，尝试模拟登录自己学校的网站获取信息，但在登录这一块就卡壳了。

说明一下学校登录界面的情况。当需要进入个人信息的时候，比如图书馆、选课等，都会进入到一个专门的统一身份认证的界面，如图1所示。

图1

图1 统一身份认证界面

可以从图中看出，这儿的登录需要验证码，这就需要确保在模拟登陆时候获取的验证码一定和获取当前页面的验证码一致。 另外，这个验证码是动态生成的，所以没有办法在请求页面之后将获取到的页面内容进行解析获取验证码的网址。

图2给出的登录时所捕获到的数据。（Firefox + httpfox插件，目前感觉比chrome自带的审查元素要好用点）

图2

图2 登录时所捕获的数据

可以从图2看出，在登录提交表单（提交用户名、密码等信息&

最低0.47元/天 解锁文章
greenchina1992
关注
专栏目录
Python 爬虫模拟登陆知乎
12-25
在之前写过一篇使用python爬虫爬取电影天堂资源的文章，重点是如何解析页面和提高爬虫的效率。由于电影天堂上的资源获取权限...　先来说一下，爬虫模拟登陆的基本原理吧，我也是刚开始接触对于一些深层次的东西也不是掌
python爬虫——模拟登陆
Jane的博客
11-06 6210
Python网络爬虫的模拟登陆示例
python爬虫CAS认证
LiuWH1688的博客
11-21 1181
import requests from lxml import etree from bs4 import BeautifulSoup import re import os import pickle class casService(object): def __init__(self,svr_session): self.cas_url = "" self.svr_session = svr_session #service_session
Python3网络爬虫开发实战（10）模拟登录（需补充账号池的构建）
最新发布
bigcrab的博客
08-15 1610
session + cookies 模式 和 jwt 模式
Python 爬虫 （python 3.7）_邓治安
m0_57120802的博客
03-13 1626
爬虫入门程序 # 1 from urllib import request # 构造一个请求 req = request.Request("http://www.baidu.com") # 然后在打开网页 resp = request.urlopen(req) # 读取网页内容 print(resp.read()) # 2 #打开网页 reponse=request.urlopen("http://www.baidu.com") #read方法读取网页内容 print(reponse.read(
python爬虫：模拟网站登录，获取指定页面信息
全幼稚园最可爱
09-14 1442
【代码】python爬虫：模拟网站登录，获取指定页面信息。
Python网络爬虫之模拟登陆
libaiup的博客
12-02 1752
Python网络爬虫应用十分广泛，但是有些网页需要用户登陆后才能获取到信息，所以我们的爬虫需要模拟用户的登陆行为，在登陆以后保存登陆信息，以便浏览该页面下的其他页面。
python 爬虫模拟登陆csdn
12-18
Python爬虫模拟登陆CSDN是一项常见的Web自动化任务，它涉及到使用编程语言与网站进行交互，获取需要的数据。本文将详细讲解如何使用Python的Selenium库来实现这一目标。 首先，Selenium是一个强大的Web测试框架，它...
Python爬虫之模拟登陆
05-01
Python爬虫之模拟登陆，通过模拟登陆，达到自动登陆github的作用
python爬虫之12306模拟登陆
06-27
python爬虫模拟登陆12306
Python爬虫——模拟登录
Liu_Bruce的博客
04-03 3620
模拟登录现在主要分为两种模式，一种是基于Session和Cookie的模拟登录，一种是基于JWT（JSON Web Token）的模拟登录。
Python爬虫开发实战，模拟登录与验证码处理
一个好知识的传播者
06-29 899
在Python爬虫开发实战中，模拟登录和验证码处理是两个重要的环节。通过模拟登录，我们可以获取需要用户身份认证才能访问的数据；通过处理验证码，我们可以绕过网站的反爬虫机制。在实际开发中，我们需要根据目标网站的具体情况选择合适的模拟登录方式和验证码处理方式，并结合实际情况不断优化和调整爬虫策略。
Python爬虫基础-模拟登陆
weixin_34396103的博客
06-12 237
为什么我们要让爬虫模拟登陆呢？ 有些内容只有登陆才能进行爬取，如知乎，不登录的主页只能看到注册和登陆 ； 你想爬取自己的个人信息 有什么方法呢？ cookie 在互联网发展的早期，由于大家的服务器都不是太好，所以服务端不会记住你的个人信息，这会增加服务器的压力。因此早期的连接都是一次性的，服务器在不会记...
python爬虫初级到精通3
04-08
尹成老师带你学python爬虫入门到精通视频课程，高质量课程，注重实战，从代码到思路为喜欢爬虫的同学提供了很好的学习平台。学完即可进行Python爬虫的开发，实现，编写网络爬虫。
Python爬虫基础——利用cookie实现模拟登陆
MISAYAONE的博客
11-11 9060
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。 举个例子，某些网站是需要登录后才能得到你想要的信息的，不登陆只能是游客模式，那么我们可以利用Urllib2库保存我们以前登录过的Cookie，之后载入cookie获取我们想要的页面，然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。 我之前的帖子中使用过u
Python爬虫从入门到精通:（15）模拟登陆_Python涛哥
tao5090694的博客
09-28 882
模拟登陆 模拟登陆流程： 对点击登陆按钮对应的请求进行发送(post请求) 处理请求参数： 用户名 密码 验证码 其他的防伪参数 1. 模拟古诗文网登陆 url = https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx 不急，我们先来登陆一下获取网页的请求的参数（自行注册先哦）： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Ns9Ykt8-163
Python爬虫之模拟登录总结
热门推荐
竹聿Simon的专栏
03-17 5万+
备注：python 2.7.9，32位 有些网站需要登录后才能爬取所需要的信息，此时可以设计爬虫进行模拟登录，原理是利用浏览器cookie。 一、浏览器访问服务器的过程：     （1）浏览器（客户端）向Web服务器发出一个HTTP请求（Http request）；     （2）Web服务器收到请求，发回响应信息（Http Response）；     （3）浏览器解析内容呈现
使用 requests 模拟用户单点登录的方法
HeatDeath的博客
02-25 4640
每周开周会的时候，总是因为抢不到会议室使得下班太晚吃不上饭。 遂从上个月就产生了一个写一个会议室预定的小脚本。 会议室预订系统是公司的一个子系统，公司的各个子系统是通过sso的方式进行登录的，一开始为了偷懒，想用 selenium+phantomjs 随便写一下。 可是实际操作了才发现… 废话说太多了 代码也不可能往上放，放上来了也没用 还是说一说思路吧 其实思路很简单 ...
python爬虫之模拟登陆csdn
yanggd1987的专栏
08-05 9704
python模拟登陆网页主要使用到urllib、urllib2、cookielib及BeautifulSoup等基本模块，当然进阶阶段我们还可以使用像requests等更高级一点的模块。其中BeautifulSoup模块可以很好的代理re，使用起来更方便，对于不会使用正则的人来说是福音。本文使用python2.7原理模拟登陆前，我们需要先知道csdn是如何登陆的。我们通过google chrome浏
python爬虫模拟登录
07-27
模拟登录是指通过编写程序来模拟手动输入账号密码的过程，以获取登录成功后的cookie，从而可以直接访问需要登录才能进入的页面，并获取所需的数据。在Python中，可以使用第三方库如requests和urllib来实现模拟登录。 使用requests库进行模拟登录的步骤如下： 1. 导入必要的库：import requests 2. 创建一个Session对象：session = requests.Session() 3. 发送GET请求获取登录页面：wb_data = session.get(url).text 4. 解析页面，获取登录表单中的_xsrf参数和其他必要的参数：soup = BeautifulSoup(wb_data, 'lxml')，xsrf = soup.select('input\[value\]')\[-1\].get('value') 5. 构造登录表单数据：data = {'_xsrf': xsrf, 'password': 'your password', 'remember_me': 'true', 'email': 'your email'} 6. 提交登录表单：log_post = session.post('http://www.zhihu.com/login/email', data=data) 7. 验证是否成功登录：test = session.get(url)，wb_data = BeautifulSoup(test.text, 'lxml')，wb_data.select('#feed-0 > div.feed-item-inner > div.feed-main > div.feed-content > h2 > a') 另外，还可以使用urllib库来模拟登录，通过保存cookie来保持登录状态。具体步骤如下： 1. 导入必要的库：import http.cookiejar, urllib.request 2. 初始化cookie和opener：cookie = http.cookiejar.CookieJar()，opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie)) 3. 配置opener为全局：urllib.request.install_opener(opener) 4. 构造请求头和请求对象：headers = {}，request = urllib.request.Request(url, headers=headers) 5. 发送请求并保存cookie：response = urllib.request.urlopen(request) 以上是使用Python进行模拟登录的基本步骤，具体的实践可以根据不同的网站和需求进行相应的调整和修改。 #### 引用[.reference_title] - *1* [python爬虫之模拟登录](https://blog.csdn.net/qimo__/article/details/130450046)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Python爬虫基础-模拟登陆](https://blog.csdn.net/weixin_34396103/article/details/89616422)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [python爬虫——模拟登陆](https://blog.csdn.net/qq_16121469/article/details/127718925)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值