前言
有些网站使用了懒加载技术:只有在浏览器中纵向滚动条滚动到指定的位置时,页面的元素才会被动态加载。注意,在加载之前,selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。那么如何实现加载全部内容,就需要模拟人滚动滚动条的行为,实现页面加载
代码如下:
from selenium import webdriver
import time
driver_path = r"E:\chromedriver.exe"
def get_brower():
#创建浏览器驱动
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--start-maximized")
browser = webdriver.Chrome(executable_path=driver_path, options=chrome_options)
time.sleep(3)
return browser
def drop_down(url,browser):
#加载界面
browser.get(url)
#获取页面高度
height = browser.execute_script("return action=document.body.scrollHeight")
#将滚动条调到页面底部
browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")</