爬虫系列（七）借助selenium爬取数据

总是每隔一段时间懒惰很久，懒惰中懊恼虚度光阴，又沉溺懒惰不能自拔，陷入这种怪圈中很久很久。这一篇本应该上年写的，因为懒惰迟迟没有动手。懒惰误人生……

使用selenium爬数据的好处有很多。有些网页数据是通过js加载后才有的，并且有复杂的校验过程；有些网页需要登录后才能查看数据；有些网页需要点击后才能展示数据... 这些都可以通过selenium的webdriver来抓取数据，它就是一个可以用代码控制的浏览器！它可以获取到最终的html，点击按钮按钮，执行js，有多种多样的查找元素方式，支持无图模式，支持无头模式。

 

---

1.本机环境

mac os 10.12.5    python 3.5    selenium 3.14.0    Chrome浏览器    适合Chrome的webdriver

Chrome webdriver 下载地址https://www.nuget.org/packages/Selenium.Chrome.WebDriver/

电脑上要安装Chrome浏览器，在这里找到适合自己的chrome版本和系统版本的包下载即可

 

2.打开一个链接

安装selenium

$ pip3 install selenium -i https://mirrors.aliyun.com/pypi/simple/

给chromedriver添加执行权限,保证下载的chromedriver有执行权限