python控制浏览器不上下滚动失灵_浅谈selenium如何应对网页内容需要鼠标滚动加载的问题...

相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。

这里提供两种方法供大家参考

一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来

import time

from selenium import webdriver

driver = webdriver.Firefox()

driver.set_window_size(1000,30000)

driver.get(url)

time.sleep(5)

二，通过selenium模拟浏览器下拉操作

from selenium import webdriver

import time

browser.execute_script("window.scrollBy(0,3000)")

time.sleep(1)

browser.execute_script("window.scrollBy(0,5000)")

time.sleep(1)

browser.execute_script("window.scrollBy(0,8000)")

time.sleep(1)

补充知识：针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容

有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。