爬虫之页面的动态加载selenium及PhantomJS的使用

我们在对网站进行爬取的时候，经常会发现有些动态的内容我们是无法获取的，或者是通过js渲染或者是通过ajax或者是通过二次请求。总之，我们能够得到的只是静态页面。比如豆瓣读书的网页。可以运行下面的代码一试。

import requests
from lxml import etree
se_url = 'https://book.douban.com/subject_search?search_text=Python&cat=1001&start=0'
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0'}
response = requests.get(url=se_url,headers=headers)
contents = response.content.decode('utf-8')
print(contents)

对于这种情况我们仍然有办法可以获取到其中的动态内容，这里就需要介绍一下一个新的工具以及一个新的模块—>selnium及PhantomJS
下面是使用

from lxml import etree
from selenium import webdriver
#通过豆瓣读书的案例可以发现对于某些通过js加载的内容，我们是没有办法获取到其中内容的，因此就需要使用selenium模块
driver = webdriver.PhantomJS(executable_path=r'C:\python3.5.3\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get('https://book.douban.com/subject_search?search_text=Python&cat=1001&start=0')
name = driver.find_element_by_class_name('title-text').text
print(name)

# 也可以将响应内容转成xpath对象后再使用xpath方法后进行数据的提取
driver = webdriver.PhantomJS(executable_path=r'C:\python3.5.3\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get('https://book.douban.com/subject_search?search_text=Python&cat=1001&start=0')
contents = etree.HTML(driver.page_source)
bookneme = contents.xpath('.//a[@class="title-text"]/text()')
print(bookneme)

Selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。
Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。
可以从 PyPI 网站下载 Selenium库https://pypi.python.org/simple/selenium ，也可以用 第三方管理器 pip用命令安装：pip install selenium==2.48.0

PhantomJS

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。
注意：PhantomJS 只能从它的官方网站http://phantomjs.org/download.html) 下载。 因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像 Python 的其他库一样安装，但我们可以通过Selenium调用PhantomJS来直接使用。
下载–解压，然后，
设置环境变量：C:\Users\cz\Downloads\phantomjs-2.1.1-windows\bin
打开终端命令行，输入：phantomjs，能够进行到phantomjs命令行，则表示安装成功，如下图所示：

如何使用

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

# 导入 webdriver
from selenium import webdriver
import time

# 要想调用键盘按键操作需要引入keys包
from selenium.webdriver.common.keys import Keys

# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()

# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
#例如：self.browser = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe")

# get方法会一直等到页面被完全加载，然后才会继续程序，
# 通常测试会在这里选择 time.sleep(2)
driver.get("http://www.baidu.com")

# # 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text

# 打印数据内容
print(data)

# 打印页面标题 "百度一下，你就知道"
print(driver.title)

# 生成当前页面快照并保存
driver.save_screenshot("index.png")

# id="kw"是百度搜索输入框，输入字符串"长城",字符串"长城"前的u表示utf-8编码
driver.find_element_by_id("kw").send_keys(u"长城")

# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()

#time.sleep(2)这个时间表示服务器响应时间
# 获取新的页面快照
driver.save_screenshot("长城.png")

# 打印网页渲染后的源代码
#也可以选择将page_source转成etree对象后使用xpath来提取数据
print(driver.page_source)

# 获取当前页面Cookie
print(driver.get_cookies())

# # ctrl+a 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')
# driver.save_screenshot("长城a.png")

# # ctrl+x 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys(u"章子怡")
driver.save_screenshot("a1.png")

可以使用selenium模拟键盘操作。

keys code	key		keys code	key
NULL	‘\ue000’		CANCEL	‘\ue001’
HELP	‘\ue002’		BACKSPACE	‘\ue003’
BACK_SPACE	BACKSPACE		TAB	‘\ue004’
CLEAR	‘\ue005’		RETURN	‘\ue006’
ENTER	‘\ue007’		SHIFT	‘\ue008’
LEFT_SHIFT	SHIFT		CONTROL	‘\ue009’
LEFT_CONTROL	CONTROL		ALT	‘\ue00a’
LEFT_ALT	ALT		PAUSE	‘\ue00b’
ESCAPE	‘\ue00c’		SPACE	‘\ue00d’
PAGE_UP	‘\ue00e’		PAGE_DOWN	‘\ue00f’
END	‘\ue010’		HOME	‘\ue011’
HOME	‘\ue011’		LEFT	‘\ue012’
ARROW_LEFT	LEFT		UP	‘\ue013’
ARROW_UP	UP		RIGHT	‘\ue014’
ARROW_RIGHT	RIGHT		DOWN	‘\ue015’
ARROW_DOWN	DOWN		INSERT	‘\ue016’
DELETE	‘\ue017’		SEMICOLON	‘\ue018’
EQUALS	‘\ue019’
-数-	-字-	-键-	-部-	-分-
NUMPAD0	‘\ue01a’		NUMPAD1	‘\ue01b’
NUMPAD0	‘\ue01a’		NUMPAD2	‘\ue01c’
NUMPAD3	‘\ue01d’		NUMPAD4	‘\ue01e’
NUMPAD5	‘\ue01f’		NUMPAD6	‘\ue020’
NUMPAD7	‘\ue021’		NUMPAD8	‘\ue022’
NUMPAD9	‘\ue023’		MULTIPLY	‘\ue024’
ADD	‘\ue025’		SEPARATOR	‘\ue026’
SUBTRACT	‘\ue027’		DECIMAL	‘\ue028’
DIVIDE	‘\ue029’
-功-	-能-	-键-	-部-	-分-
F1	‘\ue031’		F2	‘\ue032’
F3	‘\ue033’		F4	‘\ue034’
F5	‘\ue035’		F6	‘\ue036’
F7	‘\ue037’		F8	‘\ue038’
F9	‘\ue039’		F10	‘\ue03a’
F11	‘\ue03b’		F12	‘\ue03c’
META	‘\ue03d’		COMMAND	‘\ue03d’

使用案例：

# 模拟Enter回车键
# time.sleep(10) #加个延时，不然可能会报错：
# Element is not currently interactable and may not be manipulated
# driver.find_element_by_id("su").send_keys(Keys.RETURN) 
#注意：这个地方用回车是没有效果的，因为输入框在表单当中，
# 可以使用表单提交完成请求
driver.find_element_by_id("su").submit()
time.sleep(2)
driver.save_screenshot("a3.png")

继续：

#页面操作
#Selenium 的 WebDriver提供了各种方法来寻找元素，在百度首页有一个表单输入框：
#百度输入框架页面源码
#<input type="text" class="s_ipt" name="wd" id="kw" maxlength="100" autocomplete="off">

# 1.根据id获取标签
# time.sleep(2)
element = driver.find_element_by_id("kw")
#获取标签的属性
# 格式：标签.get_attribute("属性名")
print(element.get_attribute("type"))#text
print(element.get_attribute("class"))#s_ipte

# 2.根据name获取标签
element = driver.find_element_by_name("wd")

# 3.根据标签名获取标签名
element = driver.find_elements_by_tag_name("input") #返回列表

# 4.通过XPath来匹配
element = driver.find_element_by_xpath("//input[@id='kw']")#返回元素

# # 清除输入框内容
driver.find_element_by_id("kw").clear()
#  # 生成新的页面快照
driver.save_screenshot("ziyi.png")
# 获取当前url
print(driver.current_url)
# 关闭当前页面，如果只有一个页面，会关闭浏览器
# driver.close()
# 关闭浏览器
driver.quit()

定位UI元素 (WebElements)
关于元素的选取，有如下的API 单个元素选取
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
但是在有些时候，我们需要再页面上模拟一些鼠标操作，比如双击、右击、拖拽甚至按住不动等，我们可以通过导入 ActionChains 类来做到。在此先不提。

有界面的浏览器驱动

上面讲到PhantomJS是一个无界面的浏览器，其实还有另外一种有界面的浏览器驱动，同样可以帮助我们获取动态信息，可以更直观的帮助我们进行调试。
注意，在这里使用谷歌驱动作为案例，因此需要安装谷歌浏览器。在程序执行后会自动打开浏览器。

出现上面的页面说明已经运行成功。

from selenium import webdriver
#executable_path指的是chromedriver的路径
drive = webdriver.Chrome(executable_path=r'E:\chromedriver.exe')
base_url = 'http://www.kaixin001.com'
drive.get(base_url)
while True:
    try:
        name=input('name')
        password = input('pass')
        drive.find_element_by_name('loginemail').send_keys(name)
        drive.find_element_by_name('password').send_keys(password)
        drive.find_element_by_id('btn_dl').click()
        drive.find_element_by_name('loginemail').clear()
        drive.find_element_by_name('password').clear()
    except:
        quit(1)

chromedriver.exe下载地址可以去网上搜索