研究了半天的无头浏览器PhantomJS,不知是兼容问题还是什么问题,有个网页点击翻页的时候会出错(后来发现需要换userAgert),
后来用上了Firefox后,所有问题都解决了(效率问题暂没考虑)。
参考了很多网上的资料,selenium3.0之前的版本,是可以直接打开火狐浏览器的,但3.0之后的版本的就不支持了,要去官网下驱动,地址:https://github.com/mozilla/geckodriver/releases。
驱动要放在和python.exe相同的目录(或者调用的时候加参数executable_path="x:/xx/geckodriver.exe")。我用的window7,Firefox版本59.0.2 (64 位)。首先要安装selenium,用pip就可以。装好后就可以直接用了。
from selenium import webdriver
driver = webdriver.Firefox()
driver.get('http://www.baidu.com')
element = driver.find_element_by_xpath("//input[@id='kw']")
element.send_keys("python")
submit = driver.find_element_by_xpath("//input[@id='su']")
submit.click()
实现个下拉刷新。