selenium操作已经打开的浏览器

selenium 操作已经打开的浏览器

有时通过selenium打开网站时,发现有些网站需要扫码登录,就很头疼,导致爬虫进展不下去。
例如打开该网站:https://xh.newrank.cn/content/notes/notesSearch
在这里插入图片描述
如果继续想使用selenium进行数据抓取,下一步应该怎么办呢?

步骤一:创建文件夹

在电脑的D盘或者F盘或者合适的盘创建一个文件夹。
例如:在D盘创建了一个名为“AutomationProfile”的文件夹,路径为 D:\AutomationProfile
在这里插入图片描述

步骤二:找到谷歌浏览器路径

在这里插入图片描述
在这里插入图片描述

步骤三:在谷歌浏览器路径下打开命令提示符

在这里插入图片描述
在这里插入图片描述

步骤四:输入指令

输入:chrome.exe --remote-debugging-port=9527 --user-data-dir=“D:\AutomationProfile” ,并回车。
这句代码的意思是启动 chrome浏览器 的调试模式。

  • user-data-dir=“D:\AutomationProfile” 其中的 D:\AutomationProfile 就是刚才新创建文件夹的路径。
  • 其中 9527 为端口号,可自行指定。
    在这里插入图片描述
    在这里插入图片描述
    如果成功,就会看到已经打开新的浏览器窗口。

步骤五:运行代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from time import sleep
from selenium.webdriver.common.by import By

options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
bro = webdriver.Chrome(options=options)

url = 'https://xh.newrank.cn/content/notes/notesSearch'
bro.get(url)

执行上面代码,发现就会在刚才打开的浏览器窗口下打开该网址,发现还是出现扫码,我们只需扫一次码,再执行代码的时候,就不需要扫码了,就可以进行数据抓取了。
在这里插入图片描述
在这里插入图片描述

总结:应用场景(理论上)

  • 登录账号并且需要输入手机验证码的网站;
  • 登录账号并且需要人机验证的网站(如图片点选、文字点选等人机验证;
  • 登录账号需要滑动验证的网站;

本文部分转载于:https://blog.csdn.net/weixin_45081575/article/details/112621581

  • 9
    点赞
  • 33
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论 1

打赏作者

weixin_44791551

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值