利用selenium爬虫

利用selenium爬虫

概述：开源的web自动化测试工具。

用途：对web系统进行功能性测试，版本迭代避免发生重复性劳动兼容性测试，
           对web系统进行大数量测试

特点：可根据指令操控浏览器：不需要模拟浏览器（之前的爬虫用.request模拟浏览器）
        只是工具，必须和第三方浏览器结合使用

适用范围：可用于谷歌，火狐，PhantomJS（无页面浏览器，适用于开发人员测试）

配置环境： 1.selenium+chromedriver+chrome
                   2.selenium+geckdriver+firefox
                   3.selenium+PhantomJS

安装selenium：

                         方法一：在PyCharm中的控制台输入指令：pip install selenium

                         方法二：在cmd中输入：pip install -U selenium

chromedriver驱动的下载方式：进入：npm.taobao.org/mirrors/chromedriver（下载与本身谷歌浏览中版本相同或相近的版本）注：chromedriver驱动的下载32位和64位为一体。

该驱动需要配置环境变量，但一般使用的python是配置了环境变量，只需要把该驱动拖拽到python36-->Scripts中

测试selenium是否可用：

"""此案例演示利用selenium启动谷歌浏览器进入百度搜索页"""


from selenium import webdriver

#1.创建浏览器对象#打开一个浏览器驱动
driver=webdriver.Chrome()

#利用浏览器对象进入指定网站
driver.get("http://www.baidu.com/")

#关闭浏览器
driver.quit()

提升版：

"""此案例演示利用selenium启动谷歌浏览器进入百度搜索页
搜索“赵丽颖”，并进入
"""


from selenium import webdriver

#1.创建浏览器对象#打开一个浏览器驱动
driver=webdriver.Chrome()

#利用浏览器对象进入指定网站
driver.get("http://www.baidu.com/")

#找到文本框向这个节点发送文字"赵丽颖"
driver.find_element_by_xpath('//*[@id="kw"]').send_keys("赵丽颖")#利用xpath找到文本框，填写关键字
#找到百度一下按钮，点击确认
driver.find_element_by_xpath('//*[@id="su"]').click()

#放大百度窗口：
driver.maximize_window()

#关闭浏览器
#driver.quit()