浏览器对象执行js
browser.execute_script(“console.log()”)
#滚动条 拉到最下面,加载所有数据
from selenium import webdriver
#open the browser
browser = webdriver.Chrome()
browser.maximize_window()
#get page
browser.get("https://www.jd.com")
#下拉
browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")
案例
1. get https://www.jd.com/
2. 搜索’爬虫书‘
3. 登录
4. send_keys, click搜索
5. 滚动条 下拉到底,加载所有数据
6. 抓取 解析
待更新
selenium 缺点
爬取效率低