最近大数据预处理学习,老师谈到了网络的爬取方面的知识和技能,现在使用GooSeeker现有的爬取网站的工具,进行爬取相应的网站,该网站为公开网站,不存在数据窃取等问题:天气html
那么我们就开始吧:
首先把GooSeeker下载下来:GooSeeker下载
下载后 我们需要注册用户,绑定我们自己的邮箱地址就可以了,然后登陆上自己的账号。
登陆后我们得到的界面如下:
左下方就是网页的属性页面,选择我们需要爬取的数据,并观察html的结构。
新建任务名
创建规则:
第二步:
添加抓取内容:
添加抓取内容为:每日数据
添加完抓取内容后设置抓取的顺序:
添加完第一个 和第二个 分别指定为第一行的TR 和 第二行的TR
到这来终于配置完毕啦,点击测试,即可得到爬取数据,看是否是我们想要得到的数据:
但是这样爬取下来的数据需要清理,我们能不能把单独的一列爬取到一起呢?这样我们导入到excel中很是方便,当然这样是可以的。
那么我们就来试试吧:
这样我们把需要分的列 分别添加为抓取内容,还可以对这些列进行命名。
这样就把一定的数据爬取下来了,但是 这样我们只能单独爬取一页的数据,那如果我们要爬取很多个月的数据,那岂不是很麻烦,放心,GooSeeker开发团队已
经帮我们相到了,我们可以模拟点击翻页的事件进行翻页爬取数据。
翻页爬取
切换到爬虫路线 页面。
然后右键点击:上一月(按钮)
勾选模拟点击选择
**注意:**添加记号值:然后保存规则
最后点击
进入打印页面:
选择单搜 或者多搜即可 进行批量爬取,存储的路径为:
嘻嘻 这样一次愉快的爬取网站的实战就结束了
祝各位生活愉快 (#.#)
当你的才华还撑不起你的野心的时候,
你就应该静下心来学习;
当你的能力还驾驭不了你的目标时,
就应该沉下心来,历练.