python爬取动态加载的页面数据.模仿滚动条下拉

先说下我遇到的情况.我的情况是页面加载出来.图片不出来.div也有,但是图片路径是一个加载失败图片的路径.在你下拉条,拉到某个位置 ,某张图片才会加载出来.替换到以前图片的路径

首先说下思路.

.你只需要让下拉条从页面最顶端一直往下拉.拉到底部就可以了..ps:你下拉速度太快不行,图片还是加载不出来.所以当你下拉的时候,要让他睡觉.拉一段,睡一会儿

现在就开始代码部分.

需要导入的包

#这三个hi必须要导入的包.
from selenium.webdriver.common.keys import Keys    #模仿键盘,操作下拉框的
from bs4 import BeautifulSoup    #解析html的
from selenium import webdriver    #模仿浏览器的

1.模仿浏览器访问你要有个浏览器插件.在页面里打开你想要的网址.将页面最大化.然后将下拉条放到页面的顶部

ps:我这里用的是chrome浏览器

driver = webdriver.Chrome(executable_path="C:\\chromedriver.exe")#打开浏览器
driver.get(url)#打开你的访问地址
driver.maximize_window()#将页面最大化

driver.find_element_by_xpath('//input[@class="readerImg"]').send_keys(Keys.HOME)#下拉条置顶

 

 

5.操作下拉条往下拉.一直拉到底部.ps:(这里我没有做出来.我是看着页面往下拉,然后算出来页面下拉多少次才能到底部,做个循环.如果你们有那种获取下拉条高度的方法,告诉我谢谢了.我Google了很多方法,都不生效.)