python selenium 超时加载url 的解决办法

当使用selenium设置页面加载超时后,遇到捕获异常仍无法继续get新URL的问题。本文介绍Chrome Options的常用参数,如无头模式、禁用弹窗,并提供了解决方案——通过添加静态IP代理来提升爬虫的稳定性和应对高反爬能力的网站。
摘要由CSDN通过智能技术生成

遇到的问题是:selenium 设置页面超时之后,捕获异常也无法继续get(url) 打开新的url页面。

Chrome Options类可用的和最常用的参数列表:

 

start-maximized:最大化模式打开

headless:无头模式(后台运行)

disable-extensions:扩展Chrome浏览器上现有的扩展

disable-popup-blocking:放入弹窗

make-default-browser:设置Chrome为替代浏览器

disable-infobars:防止Chrome显示“ Chrome正在被自动化软件控制”的通知

解决办法:

import pandas as pd
import time
import datetime
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


chrome_options = Options()
# 无窗口模式
# chrome_options.add_argument('--headless')
# 解决反爬识别selenium
chrome_
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值