日志表分析
在工作中,我们需要利用kettle从省份剥离出各个地市的数据并进行增量抽取,因为整个数据库中数据量巨大,而有些表格无法区分地市的属性,就没办法剥离,只能剥离大部分表。
当我们想要统计出具体剥离了哪些表时,手工统计就显得很麻烦,技术手段太low。其实,kettle在作业时已经把操作日志记录到一个表格里,只要读懂这个表格就行了。
这个日志数据就存储在r_step表中,我们可以在数据库中查找r_step这个表格
这个表中有用的列是name 、id_step_type这两列,name列就是我们操作的表格,包括表输入和表输出,id_step_type这列是区分是输入还是输出,但是169、180、187、188代表什么意识呢,解析在另一个表id_step_type表中。
在r_step_type这个表给出解析
169 InsertUpdate 插入 / 更新 基于关键字更新或插入记录到数据库.
180 Dummy 空操作 (什么也不做) 这个步骤类型什么都不作.{0} 当你想测试或拆分数据流的时候有用.
187 TableInput 表输入 从数据库表里读取信息.
188 TableOutput 表输出 写信息到一个数据库表
理解了表的含义,我们把r_step这个表导出到Excel,就可以统计出想要的信息了。
另外,我们也会发现很多r_XXX的表,具体是做什么的可以看一下kettle官方手册。