一行代码解决selenium爬虫老遇到谷歌人机验证问题

直接上代码

x = input("随便输点啥")

哈哈,是的,在百度了半天试了各种解决方法都不行之后,最后还是通过自己随便想的一个方法来简单粗暴地解决问题了。

我的任务是给一堆谷歌学术的链接,然后挨个打开连接,把里面的文章题目和url爬下来。使用selenium的chrome引擎的时候,不知道为啥,只要这个链接打开没有人机验证,后续翻页也不会有,而如果打开就有人机验证,我还没点完就循环到下一个连接了。为了解决这个问题,最后想到加入上面那个代码。

在执行driver.get(url)之后,加入输入等待,如果这时有人机验证,等我点完,再随便输入点啥,然后开始这个链接的爬取,然后爬完了等下一个连接看是不是会有人机验证。

缺点是不能完全自动,适合一些工作量不大的爬虫任务,可以玩着手机随时看两眼。

...
for url in urls:
    ...
    driver.get(url)
    x = input("随便输点啥")
    ...

 

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值