Selenium&PhantomJS

快速入门
Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

# 导入 webdriver
from selenium import webdriver
import time

# 要想调用键盘按键操作需要引入keys包
from selenium.webdriver.common.keys import Keys

# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()

# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
#例如：self.browser = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe")

# get方法会一直等到页面被完全加载，然后才会继续程序，
# 通常测试会在这里选择 time.sleep(2)
driver.get("http://www.baidu.com")

# # 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text

# 打印数据内容
print(data)

# 打印页面标题 "百度一下，你就知道"
print(driver.title)

# 生成当前页面快照并保存
driver.save_screenshot("index.png")

# id="kw"是百度搜索输入框，输入字符串"长城"
driver.find_element_by_id("kw").send_keys(u"长城")

# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()

#time.sleep(2)这个时间表示服务器响应时间
# 获取新的页面快照
driver.save_screenshot("长城.png")

# 打印网页渲染后的源代码
# print(driver.page_source)

# 获取当前页面Cookie
print(driver.get_cookies())

# # ctrl+a 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')
# driver.save_screenshot("长城a.png")

# # ctrl+x 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys(u"章子怡")
driver.save_screenshot("a1.png")

# 模拟Enter回车键
# time.sleep(10) #加个延时，不然可能会报错：
# Element is not currently interactable and may not be manipulated
# driver.find_element_by_id("su").send_keys(Keys.RETURN) 
#注意：这个地方用回车是没有效果的，因为输入框在表单当中，
# 可以使用表单提交完成请求
driver.find_element_by_id("su").submit()
time.sleep(2)
driver.save_screenshot("a3.png")

执行效果如下图所示：a3.png

# # 清除输入框内容
driver.find_element_by_id("kw").clear()
#  # 生成新的页面快照
driver.save_screenshot("ziyi.png")
# 获取当前url
print(driver.current_url)
# 关闭当前页面，如果只有一个页面，会关闭浏览器
# driver.close()
# 关闭浏览器
driver.quit()

页面操作
Selenium 的 WebDriver提供了各种方法来寻找元素，在百度首页有一个表单输入框：
#百度输入框架页面源码
#<input type="text" class="s_ipt" name="wd" id="kw" maxlength="100" autocomplete="off">

# 1.根据id获取标签
# time.sleep(2)
element = driver.find_element_by_id("kw")
#获取标签的属性
# 格式：标签.get_attribute("属性名")
print(element.get_attribute("type"))#text
print(element.get_attribute("class"))#s_ipte

# 2.根据name获取标签标
element = driver.find_element_by_name("wd")

# 3.根据标签名获取标签名
element = driver.find_elements_by_tag_name("input") #返回列表

# 4.通过XPath来匹配
element = driver.find_element_by_xpath("//input[@id='kw']")#返回元素

定位UI元素 (WebElements)
关于元素的选取，有如下的API 单个元素选取
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
模拟滚动条滚动到底部

selenium + PhantomJS使用时 PhantomJS报错解决
在做动态网页爬虫时用到了selenium + PhantomJS,安装好之后运行时报错:

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
 warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

原因是Selenium3.X 已经弃用 PhantomJS ，提示我们使用火狐或者谷歌无界面浏览器。这是selenium的版本问题。
解决方法：
1、使用pip show selenium显示默认安装的是3.10.0版本

2.卸载：pip uninstall selenium

3.重装：pip install selenium==2.48.0

安装成功
报错解码错
在linux下，用命令行安装selenium和Phantomjs之后，创建webdriver以及调用driver.title都没问题，就是在find_element_by_name等语句时报错，
错误如下：
raise JSONDecodeError(“Expecting value”, s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
错误截图如下图所示：

解决方法：
driver = webdriver.PhantomJS(service_args=['--ignore-ssl-errors=true', '--ssl-protocol=TLSv1'])