使用selenium打开网页并保存cookie至json文件

最新推荐文章于 2024-05-17 00:17:19 发布
最新推荐文章于 2024-05-17 00:17:19 发布
阅读量2.6k 收藏 2
点赞数
分类专栏： Python 文章标签： selenium python cookie chrome 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39858881/article/details/116948604
版权

在编写爬虫，或者模拟浏览器进行一些操作时，如果每次都模拟用户输入账号密码登陆，实现步骤较为复杂，登陆后抓取cookies，在后续操作中使用cookies登陆是一种较为简便的方法。

因此，本文使用python3 + chromedriver，帮助完成cookies的抓取。

需要安装python3环境，安装selenium和json包，并下载对应版本的chromedriver

from selenium import webdriver
import json 

options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"
最低0.47元/天 解锁文章
100天精通Python（爬虫篇）——第120天：基于selenium实现添加cookie登录网站（反反爬策略）
努力让自己发光，对的人才能迎着光而来
02-19 8万+
1. cookie是什么？ 2. cookie登录网站的优点？ 3. 浏览器怎么查看cookie？ 4. 代码获取cookie 5. 添加cookie登录网站
Python,Selenium京东扫码登录保存cookie并爬取完整实例
chenhcao的博客
07-20 1875
Python,Selenium京东扫码登录保存cookie并爬取数据完整实例
python的cookie相关操作：复制原始cookie转化为json格式、cookie的读取实现免登录、保存从selenium登录得到的cookie
*
04-17 2421
import pymongo,time,os,json,random from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import exp
mysql 提取json 记录_Python3爬虫：selenium模拟登录获取cookie提取数据，存入数据库MySQL...
weixin_39935257的博客
12-19 190
原文链接：Python3爬虫：selenium模拟登录获取cookie提取数据，存入数据库MySQLselenium模拟登录获取数据如果不想自动化窗口弹出，添加option就可以实现，因为我是设置定时执行的，所以每次弹出很不方便。这里遇到的第一个坑，是element定位账号密码输入框的时候一直出现错误，后面发现原来在iframe框架里面，直接定位是不成功的，需要转换并且注明框架对应的名称。通过se...
复制即可用！C语言读取文件所有内容 并输出，c语言将浏览器网页cookie转为json格式，c语言将网页cookie转为python的webdriver.add_cookie()参数所需格式
愿天堂没有 Time Limit Exceeded
06-14 588
C语言读取文件所有内容并输出 c语言将浏览器网页cookie转为json格式 c语言将网页cookie转为python的webdriver.add_cookie()参数所需格式 代码在下方，复制即可用 运行结果截图： 转化出的普通json格式结果： 转化出的python的webdriver.add_cookie()参数所需格式（字典）结果： 讲下代码大致思路： 将浏览器网页cookie复制下来 转为json格式并存储到一个文件中（为了程序结束后可以保留结果） 读取文件所有内容并输出到控制台.
爬虫： 解析cookie和data字符串得到json格式
Gscsd的博客
03-19 1809
1. 为什么写这篇博客 方便自己用和提供给他人用 2. 写这个的原因 我们在写爬虫的时候抓包的过程中，往往都会看请求中带有的cookie和发送的参数，但是我们用的过程中，cookie可以直接粘在headers头里面。但有时也要单独写，但是data是一定要单独写成json格式，如果参数一多，我遇到过最多的30多个参数的，如果一个个的复制粘贴的话，得弄很久，而且有时候弄...
selenium使用cookie登录
weixin_35487142的博客
12-13 478
selenium使用cookie登录 最近selenium的开发者模式被某宝识别，自动登录受阻，于是使用cookie登录 进入google网上应用商店，下载EditThisCookie插件 登录账号，使用插件导出cookie 将cookie存成json文件（例a.json） 代码如下 from selenium import webdriver import json #读取json文件 w...
selenium获取cookie保存和使用
Byfar
04-10 4308
selenium获取cookie，忘记从哪儿转载的了，留一下做个备份 # -*- coding: utf-8 -*- from selenium import webdriver import time import json from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait from selenium.webd
selenium中get_cookies()和add_cookie（）的用法详解
09-18
例如，可以有一个脚本负责登录并更新cookie文件，另一个脚本则直接读取这个文件，实现免登录访问。这种方法可以减少登录操作的频率，提高自动化任务的效率。 总的来说，`get_cookies()`和`add_cookie()`是Selenium...
【python】【爬虫】selenium模块使用cookie登录
BananaChoas的博客
07-19 4813
在以前的文章中实现了向服务器发送POST请求模拟登录的操作【发送post请求】，但遇到验证码等情况时该方法就没用了。但我们可以使用当前登录账号的cookie信息，以实现下次访问该网站时自动登录。 可以利用抓包或F12，在Network页面中找到当前登录的cookies信息，但这个方法获取的cookies值不一定可以直接使用。在这里学习中提供了两种自动获取cookies并使用cookies状态实现登录的方法。 使用Session对象获取cookies 使用request模块中的Session对象..
将cookie字符串转化为json对象
热门推荐
jackie_bobo的博客
07-01 1万+
先看一下cookie长啥样 在控制台输入查看document.cookie，如下图： 分析可以看出cookie是以"key=value;key2=value2;"的结构。好，接下来我们就将其转为json对象。 function cookieToJson() { let cookieArr = document.cookie.split(";"); let obj = {}...
4、Selenium Cookie处理
Rinalin
01-12 326
1、获取所有cookies get_cookies() 2、获取指定name的cookie driver.get_cookie(name) 3、清除指定cookie delete_cookie() 4、清除所有cookies delete_all_cookies() 5、添加cookies的值（可用户绕过验证码登录） add_cookie(cookie_dict) ...
python+selenium+google网页自动截全图保存
Counting_Stars的博客
01-04 1017
代码说明 采用python+selenium+google无界面操作 含有自动登陆功能，可修改为相应的css选择器 含有自动点击下一页的操作（存在重复保存覆盖问题，因为点击的时间以及网页加载问题） 文末有精简版，提供url就可进行自动截图 其他说明 pip install selenium 1、确保谷歌浏览器安装在可以找到的位置（默认位置或自己指定的位置）。 如果不是默认位置，则需要用下面的代码来指定谷歌浏览器的安装位置： ChromeOptions options = new ChromeOptio
python转化为json格式
我点评的博客
05-15 7351
在Python中将数据转化为JSON格式和将JSON格式数据转化为Python字典都非常简单，只需要使用json模块中的dumps和loads函数即可。在Python中将数据转化为JSON格式是一个非常常见的需求，Python中自带的json模块可以非常方便地实现这个需求。这样，我们就将Python字典数据转化为了JSON格式的字符串数据，该字符串数据可以方便地在前端与后端之间传输和处理。这样，我们就将JSON格式数据转化为了Python字典数据，可以方便地在Python中进行处理和使用。
selenium+python自动化，并且保存网页源代码（记录一下）
loveliness_peri的博客
06-28 1928
import urllib.request from selenium import webdriver import time import csv import threading import pandas as pd from lxml import etree from lxml.etree import HTMLParser def main(csvFile): reader = csv.reader(csvFile) # 返回的是迭代类型 list1 = [] .
Selenium还能这么玩：重复使用登录状态实战_使用seleuinm时会重新登录吗
2401_84562768的博客
05-17 380
以后测试脚本就靠连接这一次的远程服务地址，通过 session id 得到此次的浏览器对象。注意，一定不要使用 driver.quit() 退出，否则就不能重复使用了。
cookie保存，json、字符串相互转换
IT飞牛
04-15 8462
cookie读写操作： addcookie函数中，对text进行了eacape编码，方便在各种浏览器，下都可以读取。 所以取值的时候需要unescape 解码。 function getCookie(name) { var strCookie = document.cookie; var arrCookie = strCookie.split("; "); for (
selenium 获取cookie 并使用
二立的博客
03-11 2701
参数设置 以获取阿里云cookie范例打开浏览器此时打开一个google浏览器 打开阿里云站可以手动在 此网站 登录自己的 账号获取cookie 并保存。
在线cookie转json， 在线chrome请求 转python代码， 在线chrome请求转php代码
weixin_35771144的博客
01-14 675
　　在线cookie转json 　　点击运行在线运行： function cookieToJson(str) { let cookieArr = str.split(";"); let obj = {} cookieArr.forEach((i) => { let arr = i.split("="); obj[arr[0...
在使用selenium进行UI自动化时，怎么将带有cookie的json文件中的内容加入到浏览器中
最新发布
11-16
在使用Selenium进行UI自动化测试时，如果你需要将Cookie从JSON文件中加载到浏览器，可以按照以下步骤操作： 1. **读取JSON文件**： 首先，你需要使用Python的内置模块`json`来读取JSON文件。例如： ```python import json with open('cookies.json', 'r') as f: cookies_data = json.load(f) ``` 2. **创建Cookie对象**： JSON数据通常包含一个键值对列表，每个元素表示一个Cookie。你可以遍历这个列表，并创建`selenium.webdriver.common.cookies.Cookie`对象： ```python from selenium.webdriver.common.cookie import Cookie cookie_list = [Cookie(**cookie) for cookie in cookies_data] ``` 3. **设置Cookies**： 使用Selenium Webdriver API，如ChromeDriver，你可以调用`add_cookies()`方法来添加这些Cookie到浏览器： ```python driver = webdriver.Chrome() # 初始化WebDriver实例 driver.add_cookies(cookie_list) ``` 4. **打开网页**： 现在Cookie已经设置好，你可以打开需要登录的页面了。 **注意**： - `webdriver.Chrome()`这行代码应替换为你实际使用的Webdriver类型，比如`webdriver.Firefox()`或其他浏览器驱动。 - 确保在运行此代码之前，已经启动了对应的浏览器服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值