selenium

selenium

介绍：selenium是一个web自动化测试用的框架. 程序员可以通过代码实现对浏览器的控制, 比如打开网页, 点 击网页中的元素, 实现鼠标滚动等操作

目的：在爬取数据的过程中, 经常遇到动态数据加载, 一般动态数据加载有两种, 一种通过ajax请求加载数据, 另 一种通过js代码加载动态数据。 selenium可以模拟人操作真实浏览器, 获取加载完成的页面数据

使用

from selenium import webdriver 
browser = webdriver.Chrome('./chromedriver.exe')   # 将驱动放在脚本所在的文件夹 browser.get('https://www.baidu.com(url)')

# 获取页面元素: 
find_element_by_id() # 根据元素的id 
find_element_by_name() # 根据元素的name属性 
find_element_by_xpath() # 根据xpath表达式 
find_element_by_class_name() # 根据class的值 
find_element_by_css_selector() # 根据css选择器
	
# 节点交互操作: 
click() # 点击 
send_keys() # 输入内容 
clear() # 清空操作 
execute_script(js) # 执行指定的js代码 
JS代码: window.scrollTo(0, document.body.scrollHeight) # 可以模拟鼠标滚动一屏高度 quit() 退出浏览器
browser.page_source # 获取网页的数据(str类型)