Selenium使用简单的方式抓取复杂的页面信息

Selenium 简介

　　网站复杂度增加，爬虫编写的方式也会随着增加。使用Selenium 可以通过简单的方式抓取复杂的网站页面，得到想要的信息。

　　Selenium 是操作浏览器进行自动化，例如自动化访问网站，点击按钮，进行信息采集，对比直接使用bs4 抓取信息，Selenium的抓取速度是有很大缺陷，但是如果抓取页面不多，页面复杂时，使用Selenium是个不错的选择。

　　本文将会使用Selenium 进行一些简单的抓取。

　　Selenium 使用注意

　　在使用 Selenium前需要安装 Selenium，使用pip命令，安装如下：

　　pip install selenium

　　安装完成 Selenium 还需要下载一个驱动。

　　谷歌浏览器驱动：驱动版本需要对应浏览器版本，不同的浏览器使用对应不同版本的驱动。

　　作者的环境说明如下：

　　·操作系统：Windows7 SP1 64

　　· python 版本：3.7.7

　　· 浏览器：谷歌浏览器

　　· 浏览器版本： 80.0.3987 (64 位)

　　下载好驱动后，必须把驱动给配置到系统环境，或者丢到你python的根目