python爬虫学习-Selenium与PhantomJS

Selenium

selenium:浏览器自动化测试框架,是一个python的第三方库，对外提供的接口，可以操作你的浏览器，让浏览器完成自动化的操作。
使用selenium：
安装：pip install selenium

find_element_by_id				:根据id找节点
find_element_by_name			:根据name找节点
find_element_by_xpath			:根据xpath找节点
find_element_by_tag				:根据标签名称找节点
find_element_by_class_name		:根据class名称找节点
find_element_by_css_selector	:根据选择器找节点
find_element_by_link_text		:根据连接内容找节点
get、send_keys、click

浏览器处理弹出的警告窗口
driver.switch_to_alert().accept() 确定
driver.switch_to_alert().dismiss() 取消

PhantomJS

phantomJS是一款浏览器，是无界面浏览器，是一个基于Webkit的"无界面"(headless)浏览器，它会把网站加载到内存并执行页面上的JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。
如果我们把Selenium和PhantomJS结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理JavaScript、Cookie、headers，以及任何我们真实用户需要做的事情。
因此， selenium+phantJS 就是爬虫终极解决方案

简单入门实例：

from selenium import webdriver
import time
#phantomjs路径
path=r'E:\Student\python\day04\phantomjs\bin\phantomjs.exe'
browser=webdriver.PhantomJS(path)
#设置窗口大小
driver.set_window_size(1366, 768)
url='http://www.baidu.com/'
browser.get(url)
time.sleep(3)
#查找input输入框
my_input=browser.find_element_by_id('kw')
#往框里面写文字
my_input.send_keys('资源管理站')

# #ctrl+a全选输入框内容
# driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')
# #ctrl+x剪切输入框内容
# driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'x')
# #输入框重新输入内容
# driver.find_element_by_id('kw').send_keys('itcast')

time.sleep(1)
#查找搜索按钮
but