如何获取控件的desc_Excel VBA爬虫：如何自动爬取网页的数据？

   网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

    当前最流行的爬虫方式一般都是通过Python实现，Python有很多很好用的第三方库实现。对于不熟悉使用Python的朋友，有没有办法通过Excel VBA实现呢？

     做数据分析，很重要的一部分准备工作就是获取数据，数据一般有多个来源，比如单位数据库存储的数据、报表等填写的数据、网页上的公共数据等，本文以抓取网页上的公共数据为例，做一个简单的示例，演示如何用Excel的VBA爬取数据。

测试的网页：上证债券信息网

http://bond.sse.com.cn/data/statistics/overview/agreementrepo/

尝试使用Excel获取一个时间范围内的全部记录(上图红色方框内数据表的信息)。

要求：按照日期，从网页上抓取2018年1月1日至今的债券协议回购市场数据(上图中表格中的全部数据)。操作方法：

----------------------------------------1、打开EXCEL，建立两张sheet表    1)data，用来存放获取的结果    2)爬数据，用来存放WebBrowser控件。如图：

2、插入控件
方法如图所示：
开发工具—插入AcitveX控件，找到microsoftWebBrowser控件—拖动。

3、设置控件的属性

跟进自己的需要，对空间进行设置。此处略，使用默认值。

4、分析网页网页上的日期是通过控件实现的，我们需要查询一段时间内的数据，因此需要模拟在日期控件中输入日期，再点击“查询”按钮。查看网页的源码，找到对应控件的名称和位置：

从以上截图可以看出，日期控件的id是"searchDate"可以通过以下代码控制输入的日期：

WebBrowser1.Document.All.Item("searchDate").Value = RQ

同理，再看查询按钮，查询按钮的执行程序是“javascript:goSwitch()”可以通过以下代码，调用：

WebBrowser1.Document.parentWindow.execScript "javascript:goSwitch()

此外，网页上的数据表的id是“datelist”。

5、代码实现根据以上，编写VBA代码，代码逻辑如下：用for循环，在网页上，按照日期填写数据，并点击“查询”；等待网页数据刷新后，抓取网页上的数据，存入数组arr，再将数组保存到sheet表中。

6、运行程序

运行程序，然后略做等待，即可查看爬取到的数据。如下图：

注意事项：

如果对事件效率要求不高或者数据量不大，条件有限的情况下，可以使用该方法。(效率不高也是这个方法的弊端之一)。

对于爬取难度较高的网页，还是优先推荐考虑使用Python。

    /20180905