Selenium爬虫 -- Pyhton进阶：使用cookie登陆某网站

最新推荐文章于 2023-06-04 13:11:02 发布
VIP文章 最新推荐文章于 2023-06-04 13:11:02 发布
阅读量376 收藏 3
点赞数 1
分类专栏： Debug记录、编程小技巧 Spider-爬虫 文章标签： selenium cookie python LinkedIn chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhr603894090/article/details/113761413
版权

目录

引言

cookie获取

使用cookie登陆

引言

今天下午运行着爬虫就出门了一趟，等回来后发现早就运行完了，仔细一看输出的信息原来是遇到了领英的登录异常检查，需要输入安全验证代码。想想也确实应该被检测到了，每次运行爬虫的时候都是一个新的浏览器，然后重新登陆，几天之内我登录了好多次，正常人应该不会，所以我决定这次学一下cookie登陆。

大致思想很简单：先手动在selenium中输入代码登录到个人空间，然后获取页面的cookie保存起来。然后就可以使用这个cookie来登录了，也不会被发现！

领英的cookie比脸书的好用多了，不得不佩服脸书的安全人员（没有看不起领英的意思hhh毕竟网站性质不同）。

cookie获取

最低0.47元/天 解锁文章
啦啦啦___123
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Python 使用Selenium 爬取Linkedin领英数据
m0_49967486的博客
01-19 4487
Python 使用Selenium 爬取Linkedin领英数据简单的介绍已有资料百度快照爬取第一步第二步功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简单的介绍 众所周知，领英的反爬做的是真不绰，所以在爬取过程中共采取过两个方
自动化爬取json_爬虫解决方案之爬取“搜狗引擎”
weixin_33401529的博客
01-13 499
主题.jpg1.爬取的背景为甚我们会提到“搜狗引擎爬虫呢”，一切根源来自于最近需要爬取领英的会员资料，我们可以通过人名 | 领英的方式具体的搜索以查询结果，这只是爬取领英的其中一个方法，具体的方法我们之后会讲，大家可以期待一下哦！，好了，讲回正题，我们该如何爬取“搜狗引擎”呢，我们先去首页看看搜狗首页.png我们可以看到每个链接的右下角都会有对应的时间和快照，这个是什么意思呢，因为我们爬取领英时需...
linkedin-crawler:用于LinkedIn个人资料页面的网络爬虫
05-21
履带式 用于LinkedIn个人资料页面的网络搜寻器。
170724 社工-领英爬虫
whklhhhh的博客
07-25 4001
1625-5 王子昂 总结《2017年7月24日》 【连续第295天总结】 A. LinkedIn 爬虫 B. 领英的爬虫很找到，java的工程不会使用，只好使用Python的 https://github.com/LiuXingMing/LinkedinSpider 这个爬虫的原理是在百度以关键词+site:linkedin.com搜索，将搜索结果的id按领英的个人信息
实战经验总结：怎么避免和解决LinkedIn领英帐号被封（被限制登录）？
LuoYan1119的博客
04-07 1902
领英对于外贸人来说一定不会陌生，它作为全球最大的职场社交平台，属性关键词包括“商业、互动、机遇”，这些属性覆盖在全球超过6亿领英用户身上，就决定了领英是一个蕴藏着无限商业成交机会的社交平台，所以才会有越来越多的国内外贸人不断开始尝试在领英上去寻找开发客户的机会。 但是对于初识领英和对领英规则不熟悉的人来说，会很容易造成领英账号被封号(被限制登录)的情况，这也是为什么很多人提起领英是又爱又恨的原因…尤其是前段时间领英暂停了中国境内的新用户注册账号，更是进一步提醒外贸人要学会保护自己的领英账号安全。那么到底如何
python爬虫使用cookie跳过登陆验证（一）
zhengyiming的博客
07-26 1万+
python爬虫使用cookie跳过登陆验证（一） 此文使用cookie + requests 编写简单的脚本用来跳过验证码等的处理，爬取需要登陆页面
selenium cookie 登录
阿拉修
01-22 9087
前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了cookie登录的优点了，前段时间网上搜了搜，发现没有什么完整的教程，本文就使用selenium来cookie登录为例做一个简单的教程。 环境准备 python3 selenium chromedriver selenium就不再过多解释了，我们在使用的过程中唯一需要注意的就是自己浏览器版本与driver版本的问
【python】【爬虫】selenium模块使用cookie登录
BananaChoas的博客
07-19 4479
在以前的文章中实现了向服务器发送POST请求模拟登录的操作【发送post请求】，但遇到验证码等情况时该方法就没用了。但我们可以使用当前登录账号的cookie信息，以实现下次访问该网站时自动登录。 可以利用抓包或F12，在Network页面中找到当前登录的cookies信息，但这个方法获取的cookies值不一定可以直接使用。在这里学习中提供了两种自动获取cookies并使用cookies状态实现登录的方法。 使用Session对象获取cookies 使用request模块中的Session对象..
selenium中使用cookie登录
热门推荐
ytraister的博客
05-10 2万+
✍转载自：https://www.cnblogs.com/CYHISTW/p/11685846.html 前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了cookie登录的优点了，前段时间网上搜了搜，发现没有什么完整的教程，本文就使用selenium来cookie登录为例做一个简单的教程。 环境准备 python3 selenium chromedrive
利用Selenium添加cookie实现自动登录（fofa）
bring_coco的博客
05-06 1万+
Selenium可以模拟浏览器进行自动化操作，但一些网站需要进行登录才能进行一些操作，比起输入账号密码，cookie是更加方便的。而且fofa首先登录邮箱账号时获得的cookie并不是fofa的cookie，因此我们直接选择利用fofa的cookie进行自动登录。但是selenium需要先打开一个网站才会加载进去cookies，因此我们需要将cookies写在代码中，加载进去。
selenium-webdriver-commonjs-tape：使用CommonJS和Tape进行selenium-webdriver端到端测试自动化样板
02-10
Selenium-WebDriver样板Selenium-WebDriver端到端测试自动化样板，使用和 。 克隆或派生此存储库。入门1. git clone git@github....
selenium-testng-allure-maven：使用Selenium WebDriver，TestNg，Allure2和Maven的示例项目
02-03
Selenium测试吸引人示例项目使用： Selenium WebDriver TestNg 魅力2 Maven执行命令要运行测试并生成魅力报告： mvn clean site -P [singleThreaded,nogrid,grid,parallelSuite]singleThreaded-按顺序执行测试，省略...
selenium-python-helium：Selenium-python但更轻巧：Helium是用于Web自动化的最佳Python库
01-29
SeleniumPython但较轻：氦气 非常适合Web自动化。 氦气使其更易于使用。 例如： 在引擎盖下，氦气将每个呼叫转发给Selenium。 区别在于Helium的API更高级。 在Selenium中，您需要使用HTML ID，XPath和CSS选择器来...
magellan-seleniumgrid-executor:执行人在Selenium网格上进行magellan测试
05-28
如何使用 请按照以下步骤进行 npm install testarmada-magellan-seleniumgrid-executor --save 在您的magellan.json添加以下代码块（如果没有magellan.json请在您的文件夹根目录下创建一个） "executors" : [ ...
selenium-4-grid-k8s-docker:使用Kubernetes，Docker和Selenium 4 Grid进行并行分布式测试
04-19
Selenium 4 Grid＆K8s和Docker 作为模板创建的此演示演示了如何使用Kubernetes和Docker对Chrome ve Firefox Web驱动程序进行设置，以使用Selenium 4 Grid进行分布式并行测试。要求该项目需要 。 安装 。 安装 ，...
Ubuntu系统重装 -- 制作启动盘、装机过程问题、环境配置
_天涯__的博客
11-22 1万+
这篇文章是我为了记录第一次重装 Ubuntu 系统。 Windows 系统的重装很简单，用老毛桃做一个 WinPE盘 然后下载 win10 镜像，启动,之后傻瓜式操作就可以，剩下的无非就是激活 Windows 等问题。 而重装 Ubuntu 系统，尤其我之前是 Windows 10 + Ubuntu 18.04 双系统，我在不小心的情况下格式化了 EFI 分区，导致 BootLoader 坏了，启动不了，而我又不会修复，加上之前感觉双系统的诸多不便，索性直...
Ubuntu18.04无法连接向日葵服务器的问题及解决
_天涯__的博客
09-10 9395
向日葵连不上服务器了，解决之后写一篇记录一下。 问题：向日葵软件打开之后左下角显示连接失败，n秒后重连。 附加情况：网络正常，lightdm组件正常，权限正常。 真实问题原因：查看向日葵的日志，发现连接网址失败，猜测是443端口关闭了。 解决：打开443端口。 sudo ufw allow 443 输入sudo ufw status查看，出现： Status: active To ...
Anaconda使用conda连接网络时，出现网络错误CondaHTTPError（包括Anaconda安装与入门）
_天涯__的博客
04-23 9303
今天准备安一个Anaconda来管理我的Python环境，在官网下载支持Python3.7的版本。 conda --version #查看版本，是否安装成功 conda upgrade --all #更新包，查看是否网络有问题 在使用conda连接网络更新包的版本时，出现网络错误CondaHTTPError: HTTP 000 CONNECTION FAILED for ur...
基于Yolov5目标检测的物体分类识别及定位（二） -- yolov5运行环境搭建及label格式转换
_天涯__的博客
06-04 5581
刚开始跟着网上的教程做，把环境安装错了，后来直接用GitHub的官方教程。 地址是yolov5官方团队代码及教程，看readme文件就可以。 很简单，不要想的复杂。 先下载完整的官方代码。地址在开头，下完解压。 用conda为例，新建一个python3.8的版本的环境，可以就叫yolov5，然后进入下好的代码文件夹根目录，命令行激活新建的yolov5这个环境，并运行下面这句话来安装所有的必须的依赖包：
2023-07-10 23:08:00 [scrapy.core.engine] INFO: Closing spider (finished) 2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: DELETE http://localhost:60596/session/be2dde14f6d45a27f7c73bf2fdb4c6fc/window {} 2023-07-10 23:08:00 [urllib3.connectionpool] DEBUG: http://localhost:60596 "DELETE /session/be2dde14f6d45a27f7c73bf2fdb4c6fc/window HTTP/1.1" 200 0 2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: Remote response: status=200 | data={"value":[]} | headers=HTTPHeaderDict({'Content-Length': '12', 'Content-Type': 'application/json; charset=utf-8', 'cache-control': 'no-cache'}) 2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request 这个是什么意思
最新发布
07-11
这段日志显示了 Scrapy 框架和 Selenium 的一些操作。让我为您解释每一部分的含义： 1. `2023-07-10 23:08:00 [scrapy.core.engine] INFO: Closing spider (finished)`：表示爬虫已完成并关闭。 2. `2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: DELETE http://localhost:60596/session/be2dde14f6d45a27f7c73bf2fdb4c6fc/window {}`：表示正在发送一个 HTTP DELETE 请求，关闭 Selenium 的浏览器窗口。 3. `2023-07-10 23:08:00 [urllib3.connectionpool] DEBUG: http://localhost:60596 "DELETE /session/be2dde14f6d45a27f7c73bf2fdb4c6fc/window HTTP/1.1" 200 0`：表示该 DELETE 请求已成功发送，返回状态码 200 表示成功。 4. `2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: Remote response: status=200 | data={"value":[]} | headers=HTTPHeaderDict({'Content-Length': '12', 'Content-Type': 'application/json; charset=utf-8', 'cache-control': 'no-cache'})`：表示远程服务器返回的响应，其中状态码为 200，返回的数据为 `{"value":[]}`。 5. `2023-07-10 23:08:00 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request`：表示请求已完成。 这些日志详细记录了 Scrapy 和 Selenium 在运行过程中的一些操作，可以帮助您进行调试和了解程序的执行流程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值