使用GooSeeker进行爬取城市的天气数据

最近大数据预处理学习,老师谈到了网络的爬取方面的知识和技能,现在使用GooSeeker现有的爬取网站的工具,进行爬取相应的网站,该网站为公开网站,不存在数据窃取等问题:天气html
那么我们就开始吧:
首先把GooSeeker下载下来:GooSeeker下载
下载后 我们需要注册用户,绑定我们自己的邮箱地址就可以了,然后登陆上自己的账号。
登陆后我们得到的界面如下:
在这里插入图片描述
左下方就是网页的属性页面,选择我们需要爬取的数据,并观察html的结构。
属性
在这里插入图片描述
新建任务名
在这里插入图片描述
创建规则:
在这里插入图片描述
在这里插入图片描述
第二步:
添加抓取内容:
在这里插入图片描述
添加抓取内容为:每日数据
在这里插入图片描述
添加完抓取内容后设置抓取的顺序:
在这里插入图片描述
添加完第一个 和第二个 分别指定为第一行的TR 和 第二行的TR
在这里插入图片描述
到这来终于配置完毕啦,点击测试,即可得到爬取数据,看是否是我们想要得到的数据:
在这里插入图片描述
但是这样爬取下来的数据需要清理,我们能不能把单独的一列爬取到一起呢?这样我们导入到excel中很是方便,当然这样是可以的。
那么我们就来试试吧:
在这里插入图片描述
这样我们把需要分的列 分别添加为抓取内容,还可以对这些列进行命名。
在这里插入图片描述

这样就把一定的数据爬取下来了,但是 这样我们只能单独爬取一页的数据,那如果我们要爬取很多个月的数据,那岂不是很麻烦,放心,GooSeeker开发团队已
经帮我们相到了,我们可以模拟点击翻页的事件进行翻页爬取数据。

翻页爬取
在这里插入图片描述
切换到爬虫路线 页面。
然后右键点击:上一月(按钮)
在这里插入图片描述
勾选模拟点击选择
**注意:**添加记号值:然后保存规则
在这里插入图片描述
最后点击在这里插入图片描述
进入打印页面:
在这里插入图片描述
选择单搜 或者多搜即可 进行批量爬取,存储的路径为:
在这里插入图片描述
嘻嘻 这样一次愉快的爬取网站的实战就结束了
祝各位生活愉快 (#.#)

当你的才华还撑不起你的野心的时候,
你就应该静下心来学习;
当你的能力还驾驭不了你的目标时,
就应该沉下心来,历练.
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值