Selenium
Selenium是一个工具,用来模拟浏览器功能,自动执行网页中的js代码,实现动态加载,可以用代码去操控浏览器。学完之后,可以解决百分之99的爬虫问题、和自动化测试问题。
selenium 支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver),驱动真实浏览器完成测试
selenium也支持无界面浏览器操作,比如说HtmlUnit和PhantomJs。
selenium支持大多数主流浏览器,使用时需要提供对应浏览器的驱动,要保证驱动和浏览器版本一致。
本人使用的是linux系统,python是3.5版本,selenium是3.141.0版本。初步使用selenium,步骤如下:
-
下载安装selenium:
pip install selenium
-
配置浏览器的驱动(以谷歌为例)
查看自己谷歌浏览器的版本号: 谷歌浏览器右上角-->帮助-->关于 查看谷歌驱动和谷歌浏览器版本之间的映射表 http://blog.csdn.net/huilan_same/article/details/51896672 下载谷歌浏览器驱动: http://chromedriver.storage.googleapis.com/index.html (下载之后是压缩包,需要提取出来,放到项目文件夹中)
-
创建一个py文件:HiS