Python+Selenium动态网页的信息爬取

一、Selenium

（一）Selenium简介

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

二、自动填充百度网页的查询关键字并完成自动搜索

1.检查百度源代码中搜素框的id以及搜素按钮的id

2.获取百度网页

from selenium import webdriver

driver = webdriver.Firefox(executable_path=r'F:\browserdriver\geckodriver-v0.30.0-win64\geckodriver.exe')
driver.get("https://www.baidu.com/")

运行的话，此时会打开百度的起始页

3.填充搜索框

p_input = driver.find_element_by_id('kw')
print(p_input)
print(p_input.location)
print(p_input.size)
print(p_input.send_keys('一只特立独行的猪'))
print(p_input.text)

4.模拟点击

用另一个input，也就是按钮的点击事件来实现；或者是form表单的提交事件

p_btn = driver.find_element_by_id(‘su’)
p_btn.click()

三、爬取一个动态网页的数据

（一）网站链接

http://quotes.toscrape.com/js/

（二）分析网页

1.爬取网页元素

    含有quote类的标签即为所要的标签
    text类名言，author为作者,tags为标签

2.按钮属性
爬取一页后，需要进行翻页，即点击翻页按钮。
可发现Next按钮只有href属性，无法定位。且第一页只有下一页按钮，之后的页数有上一页和下一页按钮，则也无法通过xpath定位,而其子元素span（即箭头）在第一页中的属性aria-hidden是唯一的，在之后的页数中存在aria-hidden该属性，但Next的箭头总是最后一个。
因此可以通过查找最后一个有aria-hidden属性的span标签，进行点击以跳转到下一页：
（3）网站页数
点击Nest,可以发现网站有10页

（三）代码实现

1.代码

import time
import csv
from bs4 import BeautifulSoup as bs
from selenium import webdriver

driver = webdriver.Firefox(executable_path=r'F:\browserdriver\geckodriver-v0.30.0-win64\geckodriver.exe')
# 名言所在网站
driver.get("http://quotes.toscrape.com/js/")
# 所有数据
subjects = []
# 单个数据
subject=[]
#定义csv表头
quote_head=['名言','作者','标签']
#csv文件的路径和名字
quote_path