【python】【爬虫】selenium模块使用cookie登录

最新推荐文章于 2024-06-25 15:57:48 发布
最新推荐文章于 2024-06-25 15:57:48 发布
阅读量4.5k 收藏 39
点赞数 2
分类专栏： python # 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BananaChoas/article/details/118898102
版权

目录

使用Session对象获取cookies

使用selenium模块获取cookies实现自动登录

获取cookies

使用cookies自动登录

存在的问题

在以前的文章中实现了向服务器发送POST请求模拟登录的操作【发送post请求】，但遇到验证码等情况时该方法就没用了。但我们可以使用当前登录账号的cookie信息，以实现下次访问该网站时自动登录。

可以利用抓包或F12，在Network页面中找到当前登录的cookies信息，但这个方法获取的cookies值不一定可以直接使用。在这里学习中提供了两种自动获取cookies并使用cookies状态实现登录的方法。

使用Session对象获取cookies

使用request模块中的Session对象发送请求以获取当前的cookies信息，再次使用该对象访问该网址时，会直接使用上次记录下来的cookie信息，不再需要携带其他登录参数。

import requests
session = requests.Session()    #实例化对象
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
data = {'userName':'12312451235', 'password':'123456'}    # 字典形式录入登录信息，这里要先看F12
url = 
最低0.47元/天 解锁文章
Banana忍冬
关注
  • 2
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python爬虫之selenium深入解读【从入门到实战】
景天科技苑
12-29 1万+
Selenium在爬虫中占据比较重要的地位。我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站. 它的数据是经过加密的.但是呢, 浏览器却能够正常显示出来. 那我们通过requests抓取到的内容可能就不是我们想要的结果了. 例如,电影票房数据. 在浏览器上看的时候是正常的. 那么按照之前的逻辑. 我们只需要看看数据是通过哪个请求拿到的就可以进行模拟请求了. 但是数据找到了.结果是经过加密算法的
用Python求数学题中阴影部分面积_python编写程序,求出图5
m0_60707685的博客
04-26 716
三、源码设计1.做图源码2.计算源码，其中side是要不要计算图形边框上的点，理论上side只能为True；t设置越大运行时间越长也越精准四、最后小结1.此种算法t为100时，阴影面积为1.268；t为1000时，阴影面积为1.253，已经非常接近正确答案（正确答案1.252）2.举一反三，类似于这种不规则的面积，只要可以写出来函数，就可以求解面积.2.下面有三种求解方法，第三种表示比大学高数还难看懂，你们呢？如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费。
python+selenium/request库的使用
最新发布
2401_83060956的博客
06-25 832
鼠标悬停 el = driver.find_element_by_xxx(value) ActionChains(driver).move_to_element(el).perform()取消选择 　　deselect_by_index() /deselect_by_value()/ deselect_by_visible_text()保存图片　　　　　　　get_screenshot_as_png()/get_screenshot_as_file(file)
selenium用法详解【从入门到实战】【Python爬虫】【4万字】
热门推荐
向日葵的专属太阳
10-09 23万+
文章目录selenium 简介selenium安装安装浏览器驱动确定浏览器版本下载驱动定位页面元素打开指定页面id 定位name 定位class 定位tag 定位xpath 定位css 定位link 定位partial_link 定位浏览器控制修改浏览器窗口大小浏览器前进&后退浏览器刷新浏览器窗口切换常见操作鼠标控制单击左键单击右键双击拖动鼠标悬停键盘控制设置元素等待显式等待隐式等待强制等待定位一组元素切换操作窗口切换表单切换弹窗处理上传 & 下载文件上传文件下载文件Chrome浏览器Fir
【python】【爬虫】selenium模块快速介绍
BananaChoas的博客
07-13 267
Selenium模块虽然是一个web测试工具，但在爬虫中最有意思的功能就是可以模拟鼠标点击等操作。在前面的学习中，通过抓取button指向的地址模拟鼠标点击，但在selenium中直接模拟的即是点击的操作。 目录 调试 基本网页操作 通过属性定位标签 对标签的后续操作 模拟鼠标操作 补充 弹出的页面处理 等待时间 调试 安装了selenium模块后，还要安装浏览器对应的驱动才可以使用selenium。chrome对应驱动为ChromeDriver，Firefox对应geckodrive
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
m0_67844671的博客
05-31 3762
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
python【模块】Selenium 自动化测试Web 工具
爱死亡机器人
04-21 2190
文章目录1. Selenium简介2. 安装Selenium3. 下载浏览器驱动4. 环境变量5. 参数6. 定位元素的8种方式7. 控制浏览器操作方法8. 键盘事件9. 获取断言信息10. 浏览器操作11. 设置元素等待11.1 显示等待11.2 隐式等待12. 多窗口切换13. 警告框处理14. 定位一组元素15. 多表单切换16. 下拉框选择操作17. 文件上传18. cookie操作19. 调用JavaScript代码20. 窗口截图21. 关闭浏览器22. 封装23. selenium 和 re
python partial_【Python爬虫】学习selenium
weixin_39780260的博客
11-20 326
Python爬虫系列文章：【Python爬虫】理论基础及入门实践【Python爬虫】学习BeautifulSoup【Python爬虫】Xpath详解【Python爬虫】正则表达式详解 【Python爬虫】Session和Cookie 【Python爬虫】ip代理selenium之前也写过一篇简单的使用：Python爬虫之selenium这次整合一下新学习到的内容~selenium是什么：一个自动化...
自动化测试-selenium知识点大全【python】
2301_80864686的博客
11-03 646
在 Selenium 模块中，提供了一个 Keys 类，来处理键盘操作在 Selenium 模块中，使用 send_keys() 方法，来模拟键盘输入# 添加包有些网站页面在点开链接后会出现新的窗口，但是浏览器对象 browser(driver) 还是之前页面的对象，针对此问题，需要切换到不同的窗口进行操作，Selenium 模块提供了 switch_to.window() 方法-切换句柄 和 window_handles 属性-获取句柄列表。
Python - 爬虫之Selenium
GitLqr的博客
07-12 401
欢迎关注微信公众号：FSA全栈行动 ???? 一、Selenium 的介绍 Selenium 是一个 Web 自动化测试工具，最初是为网站自动化测试而开发，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括 PhantomJS 这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。 1、Selenium 启动 Chrome 在下载好 chromedriver 以及安装好 selenium 模块后，执行下列代码： from selenium import
python爬虫之selenium-cookie操作
01-31
python爬虫之selenium--cookie操作。 在做自动化的时候，遇到难处理的验证码，我们可以手动登录，然后获取登录到的cookie，添加到浏览器中，就可以实现登录。具体操作看图片信息。以下只是提纲式列举一二，希望对你...
Python Selenium Cookie 绕过验证码实现登录示例代码
09-20
在本文中，我们将深入探讨如何使用Selenium和Cookie来绕过验证码实现自动登录。这个方法对于那些需要频繁登录但又不想每次手动输入用户名和密码的场景特别有用。 首先，我们要理解整个流程的核心思路。在示例代码中...
基于 python+Selenium 的知乎关键词爬虫
06-04
【作品名称】：基于 python+Selenium 的知乎关键词爬虫 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：基于 Selenium...
Python3+selenium实现cookie免密登录的示例代码
12-20
特别开心，因为在Python爬虫群里问那些大佬，可是他们的回答令我寒心，自己琢磨！！！ 靠谁比如靠自己，为此我总结下经验，以免入门的小白再次踩这样的吭。其实网上很多博客写的都比较不详细甚 首先问题自己思考，不...
【python】PyMySQL和pandas操作数据库
BananaChoas的博客
07-21 4424
目录 使用PyMySQL模块操作数据库 使用pandas进一步操作数据库 to_sql()把DataFrame数据存回数据库 使用PyMySQL模块操作数据库 下载并安装pymysql模块。 使用connect()函数连接到数据库。host、port为连接本地MYSQL数据库的IP和端口。user、password为登录本地MYSQL的账号和密码。database指定读取哪个数据库。charest设置数据编码。 import pymysql conn = pymysql.connect(ho
【python】【爬虫】Scrapy Crawl自动爬虫【获取新浪新闻为例】
BananaChoas的博客
06-19 2428
先获取初始网址，获取该网址中的所有链接，爬取所有链接
【python】【爬虫】For循环实现Scrapy自动爬虫
BananaChoas的博客
06-22 1807
分析URL，使用
python爬虫 cookie的使用
06-28
### 回答1： Python爬虫中，Cookie是一种用于在客户端和服务器之间传递信息的技术。在爬取网站时，有些网站需要登录才能获取数据，这时就需要使用Cookie来模拟登录状态。一般情况下，我们可以使用requests库来发送HTTP请求，并在请求头中添加Cookie信息。具体使用方法可以参考requests库的文档。另外，也可以使用第三方库如Selenium来模拟浏览器行为，自动获取Cookie信息。需要注意的是，使用Cookie时需要遵守网站的相关规定，不得进行非法操作。 ### 回答2： Python爬虫中，HTTP Cookie是一种跟踪用户身份、记录用户行为的机制。它可以存储在客户端，也可以存储在服务端。一般来说，使用Python爬虫抓取网站内容时，需要使用Cookie模拟登录，或者在爬虫请求过程中使用Cookie来保持登录状态，从而绕过一些反爬虫的限制。下面是关于使用Python爬虫中Cookie的一些注意点。 一、设置Cookie 1、手动添加Cookie 在Python的requests包中，可以使用cookies字典来设置Cookie。例如： import requests cookies = {'name': 'python', 'age': '20'} response = requests.get('http://www.example.com', cookies=cookies) 2、使用requests.Session()自动处理Cookie 当我们使用requests.Session()发起HTTP请求时，会自动处理Cookie。例如： import requests session = requests.Session() session.post('http://www.example.com/login', data={'username': 'admin', 'password': '123456'}) response = session.get('http://www.example.com/profile') 二、获取Cookie 在Python的requests包中，可以使用response.cookies来获取Cookie。例如： import requests response = requests.get('http://www.example.com') cookies = response.cookies print(cookies) 三、保存Cookie 在Python的requests包中，可以使用response.cookies来获取Cookie，然后使用pickle或者json等模块将Cookie进行序列化保存起来。例如： import requests import pickle response = requests.get('http://www.example.com') cookies = response.cookies with open('cookies.pickle', 'wb') as f: pickle.dump(cookies, f) 四、加载Cookie 在Python的requests包中，可以使用requests.cookies.RequestsCookieJar.from_dict()或者pickle等模块来加载Cookie。例如： import requests import pickle with open('cookies.pickle', 'rb') as f: cookies = pickle.load(f) response = requests.get('http://www.example.com', cookies=cookies) 五、更新Cookie 在Python的requests包中，可以使用dict.update()方法来更新Cookie。例如： import requests cookies = {'name': 'python', 'age': '20'} cookies.update({'gender': 'male'}) response = requests.get('http://www.example.com', cookies=cookies) 六、删除Cookie 在Python的requests包中，可以使用dict.pop()方法来删除Cookie。例如： import requests cookies = {'name': 'python', 'age': '20'} cookies.pop('name') response = requests.get('http://www.example.com', cookies=cookies) 七、使用Chrome插件获取Cookie 可以使用Chrome的EditThisCookie插件来获取Cookie，并将Cookie保存为json格式。在Python的requests包中，可以使用json模块来加载Cookie。例如： import requests import json with open('cookies.json', 'r') as f: cookies = json.load(f) response = requests.get('http://www.example.com', cookies=cookies) 总之，对于使用Python爬虫来抓取网站内容，Cookie是非常重要的。需要仔细了解Cookie的使用方法和注意事项，才能够更加高效稳定地完成数据抓取任务。 ### 回答3： python爬虫的使用范围越来越广泛，由于许多网站需要用户登录才能访问其中的内容，因此需要在爬虫中使用cookie来模拟登录状态。在爬虫编写中，可使用requests或者是urllib库来实现cookie的使用。下面我们来了解一下cookie的使用方法。 1.使用requests库实现cookie的使用 （1）登录请求 使用requests发送登录请求时，需要穿过用户名和密码，在请求头中添加User-Agent和Referer参数。 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Referer': 'http://xxxx.com' } data = { 'username': 'username', 'password': 'password' } login = s.post(url, headers=headers, data=data) （2）获取cookie 在登录成功后，可通过response.cookies.get_dict()获取cookie字典，键为cookie的名称，值为cookie的值。 cookie_dict = login.cookies.get_dict() （3）使用cookie 在获取到cookie后，可直接将cookie字典作为参数加入到后续请求中，例如： headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Referer': 'http://xxxx.com', 'Cookie': '; '.join([key + '=' + value for key, value in cookie_dict.items()]) } content = s.get(url, headers=headers) 2.使用urllib库实现cookie的使用 urllib与requests用法有所不同，cookie的使用需要使用HTTPCookieProcessor模块，步骤如下： （1）创建一个opener cookieJar = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookieJar)) （2）登录请求 在发送登录请求时，需要在请求头中添加User-Agent和Referer参数，用户名和密码需要通过urlencode编码后添加到请求数据中。 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Referer': 'http://xxxx.com' } data = { 'username': 'username', 'password': 'password' } login = opener.open(url, headers=headers, data=urllib.parse.urlencode(data).encode('utf-8')) （3）使用cookie 当成功登录后，可以在后续请求中直接使用创建好的opener对象，如： headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Referer': 'http://xxxx.com' } content = opener.open(url, headers=headers) 总的来说，cookie能模拟用户登录状态，便于访问页面。但在实际使用中，应尽量使用网站提供的API或者数据接口。使用cookie可能会被网站识别为爬虫，有可能会被限制访问或者被封IP，因此应该在使用前咨询网站管理员的意见。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值