python用selenium拖动滚动条到懒加载网页的最底部
页面有懒加载时,需要拖动滚动条到页面最底部,可以用如下方法:
all_window_height = [] # 创建一个列表,用于记录每一次拖动滚动条后页面的最大高度
all_window_height.append(driver.execute_script("return document.body.scrollHeight;")) #当前页面的最大高度加入列表
while True:
driver.execute_script("scroll(0,100000)") # 执行拖动滚动条操作
time.sleep(3)
check_height = driver.execute_script("return document.body.scrollHeight;")
if check_height == all_window_height[-1]: #判断拖动滚动条后的最大高度与上一次的最大高度的大小,相等表明到了最底部
break
else:
all_window_height.append(check_height) #如果不想等,将当前页面最大高度加入列表。
有的网页是拖到最底部就自动加载出了,有的是还需要点击“加载更多”之类的按钮,这时再加一步点击按钮就可以了。
import selenium.webdriver as driver
driver.find_element_by_xpath()