Python--爬虫之selenium

selenium的使用

目标
了解selenium和phantomjs以及chromedriver是什么以及如何安装
掌握selenium的控制浏览器的方法
掌握selenium获取元素中数据的方法

1. 什么是selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏

2. PhantomJS的介绍

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript

下载地址：http://phantomjs.org/download.html

3. Chromedriver的介绍

Chromedriver 也是一个能够被selenium驱动的浏览器，但是和PhantomJS的区别在于它是有界面的

下载地址：https://npm.taobao.org/mirrors/chromedriver

4. driver的安装

最简单的安装方式是：解压后把bin目录下的可执行文件移动到环境变量下，比如/usr/bin 或者是/usr/local/bin下面

注意：Chromedriver和电脑上的chrome版本有对应关系，建议使用最新的Chromedriver版本并且更新chrome浏览器到最新版

5. selenium的入门使用

知识点：

掌握如何发送请求，加载网页
掌握如何进行简单的元素定位
掌握如何从获取浏览器中的数据
加载网页： selenium通过控制浏览器，所以对应的获取的数据都是elements中的内容

  from selenium import webdriver 
  driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)
  driver.get("http://www.baidu.com/")
  driver.save_screenshot("长城.png")
# 定位和操作：
  driver.find_element_by_id(“kw”).send_keys(“长城”)
  driver.find_ele