Selenium
selenium:浏览器自动化测试框架,是一个python的第三方库,对外提供的接口,可以操作你的浏览器,让浏览器完成自动化的操作。
使用selenium:
安装:pip install selenium
find_element_by_id :根据id找节点
find_element_by_name :根据name找节点
find_element_by_xpath :根据xpath找节点
find_element_by_tag :根据标签名称找节点
find_element_by_class_name :根据class名称找节点
find_element_by_css_selector :根据选择器找节点
find_element_by_link_text :根据连接内容找节点
get、send_keys、click
浏览器处理弹出的警告窗口
driver.switch_to_alert().accept() 确定
driver.switch_to_alert().dismiss() 取消
PhantomJS
phantomJS是一款浏览器,是无界面浏览器,是一个基于Webkit的"无界面"(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。
如果我们把Selenium和PhantomJS结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理JavaScript、Cookie、headers,以及任何我们真实用户需要做的事情。
因此, selenium+phantJS 就是爬虫终极解决方案
简单入门实例:
from selenium import webdriver
import time
#phantomjs路径
path=r'E:\Student\python\day04\phantomjs\bin\phantomjs.exe'
browser=webdriver.PhantomJS(path)
#设置窗口大小
driver.set_window_size(1366, 768)
url='http://www.baidu.com/'
browser.get(url)
time.sleep(3)
#查找input输入框
my_input=browser.find_element_by_id('kw')
#往框里面写文字
my_input.send_keys('资源管理站')
# #ctrl+a全选输入框内容
# driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')
# #ctrl+x剪切输入框内容
# driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'x')
# #输入框重新输入内容
# driver.find_element_by_id('kw').send_keys('itcast')
time.sleep(1)
#查找搜索按钮
but