python-selenium-webdriver quit()函数阻塞(hang)的处理方法

爬虫采用Selenium + geckodriver(Firefox webdriver),经过调试,发现访问一些网站结束后,调用webdriver.quit()函数时,代码直接hang住,无法返回及异常发生。

参考文档后面的资料,是由于Firefox退出时,有需要用户确认的确认框引起的。
按照Selenium的工作机制,代码调用Selenium Client Library,向webdriver发送HTTP连接发送 JSON Wire Protocol数据,然后webdriver向Firefox发送HTTP数据。现在Firefox因为需要用户确认,一直没有回复,然后webdriver也无法向Selenium Client Library返回数据,最关键的是这中间HTTP请求没有超时机制,导致quit()函数一直无法结束返回。

根据参考文档,结合以下几种办法一起解决。

  1. 配置Firefox,关闭确认弹出框选项。具体就是在firefox地址栏中输入about:config, 修改以下三项的值。然后创建webdriver.Firefox()时导入配置文件。

    browser.tabs.warnOnClose = false
    browser.tabs.warnOnCloseOtherTabs  =  false
    dom.disable_beforeunload  = true
    
  2. 代码屏蔽onunload与onbeforeunload事件

browser.execute_script("window.onunload=null; window.onbeforeunload=null")
  1. 设置socket全局默认超时
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值