python爬取学校学生信息网_使用python+selenium爬取学生信息并入库

在学校的网站上发现了一些有趣的东西，就是能看到同年级的所有学院学生的信息。

该页面大概如下

于是好奇的我就打算把所有信息抓取下来。

一开始我打算使用 requests + BeautifulSoup 进行模拟爬取。但是因为上面的 “下一页” 是post一个form， 然后post的参数值需要从当前页面抓取，操作麻烦，而且到最后都没有成功。于是我就打算换一个工具，就选择了 selenium。

简单的介绍一下 selenium 吧。

selenium是一个web的自动化测试工具，和其它的自动化工具相比来说其最主要的特色是跨平台、跨浏览器。

支持windows、linux、MAC，支持ie、firefox、safari、opera、chrome等。

此外还有一个特色是支持分布式测试用例的执行，可以把测试用例分布到不同的测试机器的执行，相当于分发机的功能。

但是我把他玩成了一个爬虫。。。

一个简单的例子：

测试例子：

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

from selenium.webdriver.common.keys import Keys

import time

browser = webdriver.Fir