Selenium

七、Selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

可以从 PyPI 网站下载 Selenium库https://pypi.python.org/simple/selenium ，

也可以用 第三方管理器 pip用命令安装：sudo pip install selenium

Selenium 官方参考文档：http://selenium-python.readthedocs.io/index.html

PhantomJS

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像 Python 的其他库一样安装，但我们可以通过Selenium调用PhantomJS来直接使用。

PhantomJS 官方参考文档：http://phantomjs.org/documentation

安装示例：

1. 下载PhantomJS：

   wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
   

2. 解压并创建软连接：

   tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 
   sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/ 
   sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
   

快速入门

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

chromedriver安装

1.pip用命令安装：sudo pip install selenium==2.48.0

Selenium 官方参考文档：http://chromedriver.storage.googleapis.com/index.html

2.如果有谷歌浏览器了， 先查看浏览器版本， 然后直接安装Chromedriver

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VjmQ11eG-1572593798318)(./assets/driver下载1.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JTANFt1v-1572593798318)(./assets/driver下载2.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oJuzMYLc-1572593798319)(./assets/driver下载3.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O1qF5tvQ-1572593798319)(./assets/driver安装4.png)]

#ubantu版本下
# 切换到Desktop目录下操作：
# Desktop下要有chromedriver_linux64.zip 才能解压unzip
python@ubuntu:~/Desktop$ unzip chromedriver_linux64.zip
python@ubuntu:~/Desktop$ sudo chmod 777 chromedriver
# 解压出来的chromedriver文件，复制到/usr/bin
python@ubuntu:~/Desktop$ sudo cp chromedriver /usr/bin

3.安装Chromedriver教程借鉴：
https://www.cnblogs.com/JHblogs/p/7699951.html
.安装Chromedriver教程借鉴：
https://www.cnblogs.com/JHblogs/p/7699951.html
https://www.cnblogs.com/titicia/p/6036572.html