安装Selenium、以及用Selenium爬取拉勾网最新热门职位数据

作者: 锋小刀
微信搜索【Python与Excel之交】关注我的公众号查看更多内容

前言

本文主要讲解selenium的安装和基础使用，然后利用selenium爬取拉勾网最新热门的职位信息。

Selenium的安装

selenium 的安装只需要在命令端输入以下命令。

pip install selenium

Selenium安装好之后，还需要安装相应浏览器的Driver，本文用到的是Chrome浏览器，所以拿Chrome浏览器为例，安装相应的 ChromeDriver 来驱动浏览器。

ChromeDriver下载地址：

http://npm.taobao.org/mirrors/chromedriver/

在下载之前先来确认下我们使用的浏览器版本：

通过ChromeDriver的下载链接，找到Chrome浏览器相近版本电脑系统进行下载。

下载完成之后，解压，将其放置在Python安装路径下的文件夹中即可。

接着我们测试一下，用Selenium操控浏览器打开百度网页：

from selenium import webdriver
wb = webdriver.Chrome()
wb.get('https://www.baidu.com/')

这时浏览器会自动打开百度的首页，左上角会出现“Chrome正受到自动测试软件控制”。

任务实战

目标网站：

https://www.lagou.com