利用selenium爬虫
概述:开源的web自动化测试工具。
用途:对web系统进行功能性测试,版本迭代避免发生重复性劳动兼容性测试,
对web系统进行大数量测试
特点:可根据指令操控浏览器:不需要模拟浏览器(之前的爬虫用.request模拟浏览器)
只是工具,必须和第三方浏览器结合使用
适用范围:可用于谷歌,火狐,PhantomJS(无页面浏览器,适用于开发人员测试)
配置环境: 1.selenium+chromedriver+chrome
2.selenium+geckdriver+firefox
3.selenium+PhantomJS
安装selenium:
方法一:在PyCharm中的控制台输入指令:pip install selenium
方法二:在cmd中输入:pip install -U selenium
chromedriver驱动的下载方式:进入:npm.taobao.org/mirrors/chromedriver(下载与本身谷歌浏览中版本相同或相近的版本)注:chromedriver驱动的下载32位和64位为一体。
该驱动需要配置环境变量,但一般使用的python是配置了环境变量,只需要把该驱动拖拽到python36-->Scripts中
测试selenium是否可用:
"""此案例演示利用selenium启动谷歌浏览器进入百度搜索页""" from selenium import webdriver #1.创建浏览器对象#打开一个浏览器驱动 driver=webdriver.Chrome() #利用浏览器对象进入指定网站 driver.get("http://www.baidu.com/") #关闭浏览器 driver.quit()
提升版:
"""此案例演示利用selenium启动谷歌浏览器进入百度搜索页
搜索“赵丽颖”,并进入
"""
from selenium import webdriver
#1.创建浏览器对象#打开一个浏览器驱动
driver=webdriver.Chrome()
#利用浏览器对象进入指定网站
driver.get("http://www.baidu.com/")
#找到文本框向这个节点发送文字"赵丽颖"
driver.find_element_by_xpath('//*[@id="kw"]').send_keys("赵丽颖")#利用xpath找到文本框,填写关键字
#找到百度一下按钮,点击确认
driver.find_element_by_xpath('//*[@id="su"]').click()
#放大百度窗口:
driver.maximize_window()
#关闭浏览器
#driver.quit()