python同步执行_在python中同步运行循环

我有一段代码,可以爬行到一个无限高度的网站(如FACEBOOK).

Python硒脚本要求页面javascript转到页面底部,以便进一步加载页面.但是最终会发生这样的情况：循环异步运行,并且网站的速率限制器阻止了脚本.

我需要页面等待页面首先加载然后继续,但是我这样做失败.

以下是我到目前为止尝试过的事情.

代码如下：

while int(number_of_news) != int(len(news)) :

driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")

news = driver.find_elements_by_class_name("news-text")

print(len(news))

输出是这样的

我将其解释为当值是43、63 …时多次执行的循环.

我也尝试使其递归,但结果仍然相同.递归代码如下：

def call_news(_driver, _news, _number_of_news):

_driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

_news = driver.find_elements_by_class_name("news-text")

print(len(_news))

if int(len(_news)) != int(number_of_news) :

call_news(_driver, _news, _number_of_news)

else :

return _news

任何类型的提示,不胜感激.

解决方法:

您可以设置page_load_timeout以使驱动程序等待页面加载

driver.set_page_load_timeout(10)

另一种选择是等待元素数量改变

current_number_of_news = 0

news = []

while int(number_of_news) != int(len(news)) :

driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")

while (current_number_of_news == len(news)) :

news = driver.find_elements_by_class_name("news-text")

current_number_of_news = len(news)

print(len(news))

标签：selenium,selenium-webdriver,asynchronous,synchronous,python

来源： https://codeday.me/bug/20191118/2026563.html