kettle转换日志分析,便捷统计出具体操作了哪些表格,不再迷茫

5 篇文章 0 订阅
3 篇文章 0 订阅

日志表分析

在工作中,我们需要利用kettle从省份剥离出各个地市的数据并进行增量抽取,因为整个数据库中数据量巨大,而有些表格无法区分地市的属性,就没办法剥离,只能剥离大部分表。

当我们想要统计出具体剥离了哪些表时,手工统计就显得很麻烦,技术手段太low。其实,kettle在作业时已经把操作日志记录到一个表格里,只要读懂这个表格就行了。

这个日志数据就存储在r_step表中,我们可以在数据库中查找r_step这个表格
在这里插入图片描述
这个表中有用的列是name 、id_step_type这两列,name列就是我们操作的表格,包括表输入和表输出,id_step_type这列是区分是输入还是输出,但是169、180、187、188代表什么意识呢,解析在另一个表id_step_type表中。

在r_step_type这个表给出解析

169	InsertUpdate	插入 / 更新	       基于关键字更新或插入记录到数据库.
180	Dummy 	        空操作 (什么也不做)	这个步骤类型什么都不作.{0} 当你想测试或拆分数据流的时候有用.
187	TableInput	    表输入           	从数据库表里读取信息.
188	TableOutput	    表输出	            写信息到一个数据库表

在这里插入图片描述
理解了表的含义,我们把r_step这个表导出到Excel,就可以统计出想要的信息了。

另外,我们也会发现很多r_XXX的表,具体是做什么的可以看一下kettle官方手册。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值