爬虫 页面元素变化_爬虫遇到的一些问题(跳转页面定位问题 和 定位不到元素问题)...

在实现自动捕获流量的爬虫脚本过程中,遇到页面定位难题,包括点击后新建标签页导致元素找不到以及元素未加载完成的问题。针对这些问题,解决方案包括使用`window_handles`切换到最新页面,以及在点击前加入延时以确保元素加载。通过这些方法,成功解决了脚本运行中的定位问题。
摘要由CSDN通过智能技术生成

这两天帮老师做一个项目,其中要写一个自动捕获流量的脚本,本以为很简单就搞定了,结果有几点卡了好久……

因为要让脚本自动完成点击流程,同时开启tshark抓包,所以涉及到了爬虫的一些操作。

页面定位不到元素!!

对于页面定位不到元素,遇到了两种可能:

1. 新建标签页

一种是 点击之后,新建了标签页,新页面虽然已经弹了出来,但是脚本的光标其实还是停留再之前的页面上,这个时候自然找不到元素

解决方法:

for handle in driver.window_handles:

driver.switch_to_window(handle)

使句柄永远在当前最新的页面。

(假装有一个分界线---------------------------------------------------------------------------------------------------------------

后来脚本又在ubuntu虚拟机中跑的时候报错了,调试输出当前页面句柄,发现页面没有切换成功,又把句柄集合全部输出,发现里面居然只有一个:

a748cb8b30039aff9ed67c2ef8e0b3ea.png

后来各种百度谷歌,终于看到有人提到一点,说可能是新窗口还没有完全打开,所以据并没有获得,所以在这里先睡眠几秒,就可以成功获得了:

3d1702fbd45bd31eccfbf07ca87eed59.png

69f2714b4198eff410e5ef0c6510a86e.png

然后就成功啦~

2. 点击太快,还没有加载出来

情景:我需要先点击下拉框的下拉按钮,然后点击下拉框里面的选项

这个我实在是很懵逼,用id定位的好好的,但是有时候点击是正确的,有时候是错误的,我完全:?????

后来经过同学提示才意识到,可能还没有加载出来就点击了,于是,在点击下拉框之前,让进程sleep一秒即可。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值