selenium的find_elements非常慢的解决办法

最新推荐文章于 2024-08-21 20:39:02 发布

robinspada

最新推荐文章于 2024-08-21 20:39:02 发布

阅读量2k

点赞数 1

文章标签： selenium 测试工具 python find_elements

本文链接：https://blog.csdn.net/robinspada/article/details/131206069

版权

在使用find_elements的过程中发现，有时候比较快，有时候非常慢，慢的时候可以达到几分钟，实在不能忍受，必须要解决。

后来看到国外一片文章（抱歉地址忘记了）说，find_elements慢的原因是页面上有很多ajax的请求，默认模式下会等待这些ajax的加载完成后才执行，所以阻塞了find_elements的执行，如果ajax一直在加载中就会一直等待直到超时。所以要解决这个问题的办法很简单，强制修改默认等待时间即可，像下面这样：

    driver.implicitly_wait(180)
    driver.get(url)
...
    driver.implicitly_wait(0.1)
    elements=driver.find_elements(By.XPATH, xpath)
...

实际上find_elements不需要等待ajax的加载完成，等待时间甚至可以设置为0，我还是温柔一点设置为0.1。

记得有文章说设置pageLoadStrategy为eager也可以解决这个问题，但这个毕竟需要修改driver的options，不能中途修改，不够灵活放弃。

另外selenium的find_elements本来也比较慢，如果要追求解析速度，还可以使用第三方的xpath解析器，比如说lxml，但这些第三方解析器不能判断元素是否可见等等和浏览器相关的判断，使用有局限，作为纯粹的xpath搜索还是不错的。（我原来就使用lxml，因为要判断元素是否可见，只好放弃）