kettle抓取网页上的数据存储到数据表中

今天做一个利用kettle抓取网页数据存储到数据表中的demo,如抓取AA市的空气质量AQI

1.查看网页信息

2.按下开发者工具,查看获取空气质量日报的请求

3.弄懂了网页请求,并通过查看数据格式,可以在数据库中建表,表格如下

4.接下来就是在kettle中进行操作了

kettle的整体流程如下:

下面进行分级讲解,首先新建转换,然后建立数据库连接,这些我就不详细贴图讲解了,不懂者可以去看我前面关于kettl的博客。然后新建生成记录的输入,生成记录的详情如下图

其中的url就是前面查看得到的url请求,station就是后面拿来做where条件匹配所用。

然后新建一个Http Client的查询,详情如下

然后新建一个插入更新的输出,首先数据插入表,详情如下

 

如果以上步骤全部正确,点击运行即可得到数据,数据库表数据如下

以上就把网页中的数据抓取到自己的数据库中了。

这时,可能你的需求不是这样了,你的新需求是抓取AA市下某个县的的AQI数据,且把对应的信息存储到对应的表字段中

首先重新定义表结构,新定义的表结构如下:

 

定义完表结构后,接下来就是kettl中的操作了,整体流程如下

定义生成记录的输入,详情如下:

然后定义Http Client,他的详情如下

然后定义一个json输入的输入,详情如下:

然后定一个字段选择,详情如下:

,如果你需要的字段就是json输入中的全部字段,字段选择可以省略

最后,定义一个插入更新的输出,详情如下:

这样,点击执行,数据库表中实现数据插入,结果如下:

可能,你看到这里会觉得把url写死了,并且不能根据时间来进行抓取,不够智能,不够优化,那么接下里就演示一个更加完善的版本,流程图如下:

如流程图所示,时间和url都是通过相应的定义获取的。首先定义一个获取系统信息的输入,详情如下:

在里面定义一个变量为dateTime,设置好类型,

然后定义一个选择字段,格式化时间,详情如下:

同时,定义一个获取变量的作业,详情如下:

需要注意的时候,变量的获取需要提前设置,设置方法如下:

找到,自己电脑安装kettle后,生成的kettle.properties配置文件,一般都在C盘下的个人用户文件夹下

然后修改kettle.properties,详情如下:

设置完后,重启kettle,否则变量不会生效

然后定义一个笛卡尔输出的记录关联,将前面获取的变量关联起来

然后编写javascript代码,获取dateTime,详情如下:

后面的定义一样,直到更新插入时的条件有变,详情如下:

最后运行,可得到结果如下:

到这里,这个功能已经基本完善。

如果你只是想获取某一行的数据话,可以加上一个过滤记录的流程,如

然后在记录里写上查询条件

然后将返回true的结果指向插入更新,这样插入更新的数据即为站点只为如东的数据。

当然,只想取得其中一条数据的方法还有其他,我自学阶段只用到了过滤记录这个方法,还有其他的方法,读者可以自己去尝试,或者在评论区评论,以供学习

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 9
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值