使用GooSeeker爬取重庆历史天气数据

GooSeeker数据采集工具

GooSeeker是一个采用云计算架构的网页数据采集工具，能够从网页上抓取需要的文本信息，并按照一定结构输出数据，生成结果文件（XML文件）。
GooSeeker更像是一个游览器，是一个能够采集数据的游览器，可以通过对html中的结点进行数据采集操作。

GooSeeker的运用实例——采集重庆历史天气数据

一、安装GooSeeker

安装网址：https://www.gooseeker.com/

二、制作数据采集规则

（一）打开MS谋数台

（二）创建任务名

在网址栏输入需要采集数据的目标地址，命名任务名并查重（任务名即规则名，这里我的规则名是重庆历史天气数据）。
数据采集目标地址：http://tianqi.2345.com/wea_history/57516.htm

（三）创建规则

1.在工作台创建规则这一栏点击新建，输入整理箱名（这里我命名为重庆历史天气）。
2.在整理箱中添加抓取内容。右击整理箱名称选择“添加-包含”，这里我先添加“日期”，按照你想要爬取的列继续添加，右击“日期”选择“添加->其后”，添加“最高气温”。
3.整理箱中必须有一个是“关键内容”，选择一个抓取内容设为“关键内容”，这里我把“日期”作为“关键内容”。

（四）内容映射

1.在“浏览器”窗口中点击你想要获取的内容，比如现在要获取“日期”，就在“日期”那个区域进行鼠标点击，这时候MS谋数台会自动定位“日期”，即在HTML中结点的DIV结点位置。
2.展开一个节点（这里指TD结点），因为“日期”是一个text所以找到text标签。
右击这个text（右击TD结点也可以），选择“内容映射->日期”。

3.类似的做最高气温、最低气温、天气、风向风力、空气质量指数的内容映射。

（五）创建爬虫路线

1.新建爬虫路线

点击工作台的爬虫路线栏，选择记号线索，点击新建。

2.创建翻页定位编号

在游览器中点击上一页，在网页标签里会自动定位该文本的结点。右击结点选择翻页映射->作为翻页区->线索一。

3.创建记号定位编号

在游览器中点击上一页，在网页标签里会自动该文本定位的结点。
打开该结点，可以看到text属性。
右击text（此处只能右击text，不能右击结点），选择翻页映射->作为翻页记号。

（六）创建样例复制映射

1.点击整理箱名称，即“重庆历史天气”。勾选右侧方的“启用”，启动样例复制功能。

2.分别找到第一条数据的日期栏和第二条数据对应的日期栏的节点。
3.右击第一条数据的日期栏对应的结点，选择“样例复制映射–第一个”。
4.右击第二条数据的日期栏对应的结点，选择“样例复制映射–第二个”。

（七）测试规则

点击右侧的“测试”按钮对当前的规则进行测试，看结果是不是想要抓取的内容。

（八）保存规则

1.在MS谋数台右侧点击“存规则”，这样就可以使用我们创建的规则进行数据抓取了。
2.搜规则（可以搜索已经建好的规则，如果搜索成功，表明规则已经保存）
在MS谋数台的的工作台中切换到“搜规则”一栏，输入已经创建好的规则名搜索。

三、数据爬取

1.打开DS打数机，在“搜索框”输入所要使用的规则主题名称。

2.点击文件->存储路径，自定义数据的存储路径。
3.右击“主题名”，弹出菜单选择“统计线索”，可以看到有多少个线索等待抓取，线索就是网址。
4.点击单搜，DS打数机就开始自动进行数据的抓取工作，并会将结果以XML的格式存储下来。

注意：遇到提示“没有线索了，可添加新线索或者激活已有的线索”，说明线索已经采集完一遍了。线索就是你要采集数据所在的网站地址。如果想要再次采集，右击“任务名”，即“重庆历史天气数据”，选择“线索管理->激活所有线索”。

四、数据采集结果

数据采集结果如下：

重庆历史天气数据爬取完成（用excel打开查看如下）