selenium
介绍:selenium
是一个web
自动化测试用的框架. 程序员可以通过代码实现对浏览器的控制, 比如打开网页, 点 击网页中的元素, 实现鼠标滚动等操作
目的:在爬取数据的过程中, 经常遇到动态数据加载, 一般动态数据加载有两种, 一种通过ajax
请求加载数据, 另 一种通过js
代码加载动态数据。 selenium
可以模拟人操作真实浏览器, 获取加载完成的页面数据
使用
from selenium import webdriver
browser = webdriver.Chrome('./chromedriver.exe')
find_element_by_id()
find_element_by_name()
find_element_by_xpath()
find_element_by_class_name()
find_element_by_css_selector()
click()
send_keys()
clear()
execute_script(js)
JS代码: window.scrollTo(0, document.body.scrollHeight)
browser.page_source