python实战项目31：selenium采集招标网站公告

一、项目介绍

本次数据采集以某市建设工程交易服务中心数据为例，网址为“http://www.shcpe.cn/jyfw/xxfw/u1ai51.html”，网站首页如下图所示：

采集到的字段如下图所示：

二、采集过程

本次数据采集使用的是selenium自动化网页爬虫技术，首先，在使用selenium打开网页之后，发现所需要的数据在一个iframe中，iframe的作用是在网页中嵌入另外一个网页，需要使用selenium切换到iframe中才能获取到其中的数据。为了方便起见，我们通过浏览器的开发者工具抓包，找到我们所需数据所在的网页，然后通过selenium直接打开网页即可。网址为“https://ciac.zjw.sh.gov.cn/XmZtbbaWeb/gsqk/ZbjgGkList.aspx”。
接下来，使用selenium操作浏览器模拟人的一系列操作比如鼠标点击、切换窗口等。在这个案例中，