Selenium库使用

Selenium库是一个自动化测试工具，能够驱动浏览器模拟人的操作，如鼠标单击、键盘输入等。通过Selenium库能够比较容易地获取网页的源代码，还可以进行网络内容的批量自动下载，比较重要的一点是，可以快速获取动态渲染的网页源代码。

1. 模拟浏览器ChromeDriver的下载与安装

在学习Selenium库之前，需要先下载并安装ChromeDriver。它的作用是给Python提供一个模拟浏览器，让Python通过这个模拟浏览器访问网页，并通过Selenium库进行鼠标和键盘等操作，获取网页源代码。

1. 安装谷歌浏览器，并查看版本号。
   这里获取谷歌浏览器的版本号是有必要的，因为ChromeDriver的版本号需要与Chrome浏览器的版本号相对应。浏览器版本号查看方法：
   帮助->关于Google Chrome.
   
2. ChromeDriver下载与安装
   我们可以到镜像网站下载得到ChromeDriver，http://npm.taobao.org/mirrors/chromedriver/ 。
   
   将下载得到的ChromeDriver压缩包解压，得到一个exe可执行文件，将其复制到Python安装路径中的Scripts中。
   通过在命令行窗口中输入chromedriver，检验是否安装成功。
   

2. Selenium库的安装与使用

2.1 Selenium库的安装

推荐使用pip install selenium方法安装，之后通过如下代码对其进行测试。

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("https://www.baidu.com/")

此时通过Python模拟器打开了一个浏览器窗口，并打开网址，窗口中显示“Chrome正受到自动检测软件的控制”

2.2 Selenium库的使用

1. 访问及关闭网页、浏览器窗口最大化
   上面的提到的代码为访问网页的方式。
   通过下面的代码可以关闭模拟浏览器

browser.quit()

要将模拟浏览器窗口最大化，可以使用如下代码：

browser.maximize_window()

2. 查找元素模拟鼠标和键盘操作
   Selenium库还可以模拟人在浏览器中的鼠标和键盘操作，实现功能：打开百度首页，在搜索框内输入“python”，然后单击“百度一下”
   要实现该功能，首先要知道如何查找元素，网页是由一个个元素构成的，搜索框和“百度一下”按钮都是网页上的元素，查找元素主要有两种方法：XPath方法和css_selector方法。

• （1）XPath方法

browser.find_element_by_xpath('XPath内容')

XPath是一个定位元素的手段，可以把XPath理解为这个元素的名字或id。那么如何获得网页中元素的XPath呢? 首先在网页上按F12键打开开发者工具，利用“选择”按钮选中搜索框，然后再搜索框对应的那一行源代码上右击，在弹出的快捷菜单中选择Copy->Copy XPath命令，即可得到该元素的XPath。

自动在搜索框中输入内容并实现搜索功能的代入如下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.maximize_window()   # 浏览器窗口最大化
browser.get("https://www.baidu.com/")

browser.find_element_by_xpath('//*[@id="kw"]').send_keys('python')      # 在搜索框中模拟人输入python
browser.find_element_by_xpath('//*[@id="su"]').click()      # 模拟人点击“百度一下”按钮

• （2）css_selector方法

browser.find_element_by_css_selector('css_selector内容')

该方法与XPath的方法类似，css_selector内容的获取方法也与XPath的获取方法类似。

from selenium import webdriver

browser = webdriver.Chrome()
browser.maximize_window()   # 浏览器窗口最大化
browser.get("https://www.baidu.com/")

browser.find_element_by_css_selector('#kw').send_keys('阿里巴巴')
browser.find_element_by_css_selector('#su').click()

3. 获取网页源代码
   使用Selenium库的一个重要目的就是获取原来难以获取的网页源代码，代码如下：

data = browser.page_source

这里需要注意，如果是使用模拟单击搜索按钮之后，立即执行获取源码功能，可能会由于延迟的原因，使得获取的源码内容有误，这时可以在两行代码之间通过time.sleep(4)的方式，等待几秒之后再执行获取源码功能。如果是直接访问网址则不需要等待，下面我们用该方法来试试比较难以获取的新浪财经上证综合指数网页。代码如下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.maximize_window()   # 浏览器窗口最大化
browser.get("https://finance.sina.com.cn/realstock/company/sh000001/nc.shtml")

data = browser.page_source
print(data)

通过该方法，我们已经能够获取动态网页的源代码

4. 无界面浏览器设置
   有时希望程序在后台运行，不需要弹出模拟浏览器，就要用到Chrome Headless方法，将浏览器转到后台运行而不显示出来。

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')

browser = webdriver.Chrome(options=chrome_options)
browser.get("https://finance.sina.com.cn/realstock/company/sh000001/nc.shtml")

data = browser.page_source

Selenium相对于Requests库而言，更加具有通用性，但是我们在使用时发现，该方法因为要模拟人的操作，因此访问速度较慢，对于普通的网站而言，使用Requests库会更加方便快捷。