selenium是什么?
支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,
ChromeDriver)驱动真实浏览器完成测试
selenium也是支持无界面浏览器操作的。比如说HtmlUnit和PhantomJs。
用selenium的目的
模拟浏览器功能,自动执行网页中的js代码,实现动态加载
安装selenium
pip install selenium 进行安装selenium
然后根据自己的浏览器(最好是用谷歌浏览器)版本不同进行配置chromedriver.exe 如果是绝对路径 前边必须加一个 r
创建浏览器操作对象
path = 浏览器配置驱动的路径
driver= webdriver.Chrome(path) 创建一个chrome对象然后使用browser就可以进行操作。
网址
url = 要爬取的网址
driver.get(url)
元素定位
driver.find_element_by_id id定位:比如输入框中的id来进行定位
eg:driver.find_element_by_id('kw')
driver.find_elements_by_name name="wd"的属性,我们可以通过name定位到这个搜索框
eg:driver.find_element_by_name(&