kettle之日志有关方面的总结

最新推荐文章于 2023-09-06 16:18:17 发布
最新推荐文章于 2023-09-06 16:18:17 发布
阅读量8.9k 收藏 4
点赞数 1
分类专栏： 数据处理相关 文章标签： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mar_ljh/article/details/80856903
版权

job

1.job日志

job日志有三种：

作业日志表：整体的记录

作业项日志表：每个项目的日志

日志通道日志表：

第一次配置，因为数据库中还没有这个表，需要手动点击sql创建表，然后执行sql。

日志模式：oracle等数据库种有模式概念，mysql不需要填写

记录时间间隔：运行的时候多久写一次，在作业日志表中对应：logdate时间每10秒写一次

日志超时时间：过期删除？

在内存中保存的日志行数：

 

2.job内转换日志（这个没有打印出来）

trans

1.trans日志

转换：启动、结束时间、运行状态（正在运行，完成）

步骤：运行的步骤信息

运行：

日志通道：

Metrics：运行具体的步骤（度量）

==========================kettle日志====================

检验分流案例：

kettle文件：job文件：

 

trans文件：

具体内容，表输入为2张表join操作：

数据检验为对合并的数据做一个过滤操作，如为空，数值等，并定义错误处理（右键->错误处理）：

 

js代码为合并错误的记录行以“|”拼接成一个字段，存入一张大表，大表记录数据来源：

待存入的库表结构：（实际项目中肯定得知道从哪台机器，哪个库表来的数据）

CREATE TABLE `p_error` (

`result` VARCHAR(256) NULL DEFAULT NULL,

`error_num` VARCHAR(64) NULL DEFAULT NULL,

`error_desc` VARCHAR(64) NULL DEFAULT NULL,

`error_column` VARCHAR(64) NULL DEFAULT NULL,

`error_code` VARCHAR(64) NULL DEFAULT NULL

)

输出效果：

检验不通过分流输出：

kettle执行 情况：job、trans均正常执行。

 

日志记录输出情况：

作业：（有颜色的表示可以使用的字段）

作业日志表：（作业执行具体情况，执行状态、启动时间、当前日志记录时间、结束时间）

ID_JOB记录当前执行批次，后面所有表有关批次，全是该字段索引。

ID_JOB

0

CHANNEL_ID

2b97ef82-9ef0-4312-b563-2fa67ec55a21

JOBNAME

读取

STATUS

end

LINES_READ

0

LINES_WRITTEN

0

LINES_UPDATED

0

LINES_INPUT

0

LINES_OUTPUT

0

LINES_REJECTED

0

ERRORS

0

STARTDATE

1/1/1900 07:00:00

ENDDATE

6/14/2018 17:13:54

LOGDATE

6/14/2018 17:13:55

DEPDATE

6/14/2018 17:13:54

REPLAYDATE

6/14/2018 17:13:54

LOG_FIELD

 

log_field根据配置的时间间隔实时刷新，内容和kettle底部展示一致：

2018/06/14 17:13:54 - Spoon - 正在开始任务...

2018/06/14 17:13:54 - 读取 - 开始执行任务

2018/06/14 17:13:54 - 读取 - 开始项[转换]

2018/06/14 17:13:54 - 转换 - Loading transformation from XML file [D:\etl_project\错误处理.ktr]

2018/06/14 17:13:54 - 转换 - Using run configuration [Pentaho local]

2018/06/14 17:13:54 - 转换 - Using legacy execution engine

2018/06/14 17:13:54 - 错误处理 - 为了转换解除补丁开始 [错误处理]

2018/06/14 17:13:54 - 正确记录输出.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 过滤记录输出 2.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 过滤记录输出.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 表输入.0 - Finished reading query, closing connection.

2018/06/14 17:13:54 - JavaScript代码.0 - Optimization level set to 9.

2018/06/14 17:13:54 - 表输入.0 - 完成处理 (I=17, O=0, R=0, W=17, U=0, E=0)

2018/06/14 17:13:55 - 数据检验.0 - 完成处理 (I=0, O=0, R=17, W=12, U=0, E=5)

2018/06/14 17:13:55 - JavaScript代码.0 - 完成处理 (I=0, O=0, R=5, W=5, U=0, E=0)

2018/06/14 17:13:55 - 正确记录输出.0 - 完成处理 (I=0, O=12, R=12, W=12, U=0, E=0)

2018/06/14 17:13:55 - 过滤记录输出.0 - 完成处理 (I=0, O=5, R=5, W=5, U=0, E=0)

2018/06/14 17:13:55 - 读取 - 开始项[成功]

2018/06/14 17:13:55 - 读取 - 完成作业项[成功] (结果=[true])

2018/06/14 17:13:55 - 读取 - 完成作业项[转换] (结果=[true])

2018/06/14 17:13:55 - 读取 - 任务执行完毕

2018/06/14 17:13:55 - Spoon - 任务已经结束.

END

作业项日志表：

 

ID_BATCH

CHANNEL_ID

LOG_DATE

TRANSNAME

STEPNAME

LINES_READ

LINES_WRITTEN

LINES_UPDATED

LINES_INPUT

LINES_OUTPUT

LINES_REJECTED

ERRORS

RESULT

NR_RESULT_ROWS

NR_RESULT_FILES

0

155652e6-de7d-4ccc-93d6-738b46498211

6/14/2018 17:13:55

读取

START

0

0

0

0

0

0

0

1

0

0

 

0

58c148e4-68a8-4276-a291-3bb004a97a8e

6/14/2018 17:13:55

读取

转换

0

0

0

0

0

0

0

1

0

0

 

0

eb553cb2-5db9-4987-9cf6-3089f6813e10

6/14/2018 17:13:55

读取

成功

0

0

0

0

0

0

0

1

0

0

 

0

b94f8743-7831-4bae-841c-ea871d5a8c86

6/14/2018 17:13:55

读取

DUMMY

0

0

0

0

0

0

0

0

0

0

 

日志通道日志表：

 

ID_BATCH

CHANNEL_ID

LOG_DATE

LOGGING_OBJECT_TYPE

OBJECT_NAME

OBJECT_COPY

REPOSITORY_DIRECTORY

FILENAME

OBJECT_ID

OBJECT_REVISION

PARENT_CHANNEL_ID

ROOT_CHANNEL_ID

 

0

754bfd54-3a2e-4c65-867c-bb194fc4ebf4

6/14/2018 17:13:55

DATABASE

local_kettle_log

    

2b97ef82-9ef0-4312-b563-2fa67ec55a21

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

c3ed94e2-c2ad-44b7-8e2e-6aadbe297f33

6/14/2018 17:13:55

JOBENTRY

START

     

2b97ef82-9ef0-4312-b563-2fa67ec55a21

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

c88e0e5a-8dab-44ff-bbaa-2eefe2fb4dad

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

d577d451-2c6e-4fe5-b044-3f6db889cfeb

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

d577d451-2c6e-4fe5-b044-3f6db889cfeb

6/14/2018 17:13:55

STEP

表输入

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

3f5df8a8-525d-4fda-9656-47ec84eabad4

6/14/2018 17:13:55

STEP

数据检验

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

c1416a32-a719-4e49-b4ad-7405483a8c7e

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

d2e88ac3-2af0-4e97-b142-32e4bd75dadc

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

d2e88ac3-2af0-4e97-b142-32e4bd75dadc

6/14/2018 17:13:55

STEP

正确记录输出

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

60af517e-5f27-4c7a-96f9-c47fcb889ce7

6/14/2018 17:13:55

STEP

JavaScript代码

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

bed78c9a-4a9c-4862-9b34-3ad3d5eb3fde

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

89cb570a-1e3a-4f6e-b909-30d7bb31fbe6

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

89cb570a-1e3a-4f6e-b909-30d7bb31fbe6

6/14/2018 17:13:55

STEP

过滤记录输出

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

c75912a5-d9dd-4adf-ae22-b69edf1ddbfb

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

6a38328a-af09-49ac-b9e8-5adc5346e821

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

6a38328a-af09-49ac-b9e8-5adc5346e821

6/14/2018 17:13:55

STEP

过滤记录输出 2

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

1b40927e-a18a-459b-a7d3-009195b4ed3a

6/14/2018 17:13:55

DATABASE

local_kettle_log

    

99922df2-8f34-4865-bdb9-6d571895eae4

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

99922df2-8f34-4865-bdb9-6d571895eae4

6/14/2018 17:13:55

TRANS

错误处理

 

/

D:\etl_project\错误处理.ktr

 

3b5dff4f-0a52-41de-aac6-e5427f3058c7

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

3b5dff4f-0a52-41de-aac6-e5427f3058c7

6/14/2018 17:13:55

JOBENTRY

转换

  

D:\etl_project\错误处理.ktr

 

2b97ef82-9ef0-4312-b563-2fa67ec55a21

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

8be87f8a-b464-4a1e-8722-3def49883517

6/14/2018 17:13:55

JOBENTRY

成功

     

2b97ef82-9ef0-4312-b563-2fa67ec55a21

2b97ef82-9ef0-4312-b563-2fa67ec55a21

0

2b97ef82-9ef0-4312-b563-2fa67ec55a21

6/14/2018 17:13:55

JOB

读取

 

/

D:\etl_project\日志测试_错误处理.kjb

 

2b97ef82-9ef0-4312-b563-2fa67ec55a21

转换：

转换：

ID_BATCH

0

CHANNEL_ID

99922df2-8f34-4865-bdb9-6d571895eae4

TRANSNAME

错误处理

STATUS

end

LINES_READ

0

LINES_WRITTEN

0

LINES_UPDATED

0

LINES_INPUT

0

LINES_OUTPUT

0

LINES_REJECTED

0

ERRORS

0

STARTDATE

1/1/1900 07:00:00

ENDDATE

6/14/2018 17:13:54

LOGDATE

6/14/2018 17:13:55

DEPDATE

6/14/2018 17:13:54

REPLAYDATE

6/14/2018 17:13:54

LOG_FIELD

 

LOG_FIELD字段内容：

2018/06/14 17:13:54 - Spoon - 正在开始任务...

2018/06/14 17:13:54 - 错误处理 - 为了转换解除补丁开始 [错误处理]

2018/06/14 17:13:54 - 正确记录输出.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 过滤记录输出 2.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 过滤记录输出.0 - Connected to database [local_zj_ctcc] (commit=1000)

2018/06/14 17:13:54 - 表输入.0 - Finished reading query, closing connection.

2018/06/14 17:13:54 - JavaScript代码.0 - Optimization level set to 9.

2018/06/14 17:13:54 - 表输入.0 - 完成处理 (I=17, O=0, R=0, W=17, U=0, E=0)

2018/06/14 17:13:55 - 数据检验.0 - 完成处理 (I=0, O=0, R=17, W=12, U=0, E=5)

2018/06/14 17:13:55 - JavaScript代码.0 - 完成处理 (I=0, O=0, R=5, W=5, U=0, E=0)

2018/06/14 17:13:55 - 正确记录输出.0 - 完成处理 (I=0, O=12, R=12, W=12, U=0, E=0)

2018/06/14 17:13:55 - 过滤记录输出.0 - 完成处理 (I=0, O=5, R=5, W=5, U=0, E=0)

END

步骤：

ID_BATCH

CHANNEL_ID

LOG_DATE

TRANSNAME

STEPNAME

STEP_COPY

LINES_READ

LINES_WRITTEN

LINES_UPDATED

LINES_INPUT

LINES_OUTPUT

LINES_REJECTED

ERRORS

0

d577d451-2c6e-4fe5-b044-3f6db889cfeb

6/14/2018 17:13:55

错误处理

表输入

0

0

17

0

17

0

0

0

0

3f5df8a8-525d-4fda-9656-47ec84eabad4

6/14/2018 17:13:55

错误处理

数据检验

0

17

12

0

0

0

5

0

0

d2e88ac3-2af0-4e97-b142-32e4bd75dadc

6/14/2018 17:13:55

错误处理

正确记录输出

0

12

12

0

0

12

0

0

0

60af517e-5f27-4c7a-96f9-c47fcb889ce7

6/14/2018 17:13:55

错误处理

JavaScript代码

0

5

5

0

0

0

0

0

0

89cb570a-1e3a-4f6e-b909-30d7bb31fbe6

6/14/2018 17:13:55

错误处理

过滤记录输出

0

5

5

0

0

5

0

0

0

6a38328a-af09-49ac-b9e8-5adc5346e821

6/14/2018 17:13:55

错误处理

过滤记录输出 2

0

0

0

0

0

0

0

0

运行：状态有end和stop2种，其中stop为出错后执行的状态，其中有字段errors显示错误个数。

日志通道：

 

ID_BATCH

CHANNEL_ID

LOG_DATE

LOGGING_OBJECT_TYPE

OBJECT_NAME

OBJECT_COPY

REPOSITORY_DIRECTORY

FILENAME

OBJECT_ID

OBJECT_REVISION

PARENT_CHANNEL_ID

ROOT_CHANNEL_ID

0

c88e0e5a-8dab-44ff-bbaa-2eefe2fb4dad

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

d577d451-2c6e-4fe5-b044-3f6db889cfeb

99922df2-8f34-4865-bdb9-6d571895eae4

0

d577d451-2c6e-4fe5-b044-3f6db889cfeb

6/14/2018 17:13:55

STEP

表输入

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

3f5df8a8-525d-4fda-9656-47ec84eabad4

6/14/2018 17:13:55

STEP

数据检验

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

c1416a32-a719-4e49-b4ad-7405483a8c7e

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

d2e88ac3-2af0-4e97-b142-32e4bd75dadc

99922df2-8f34-4865-bdb9-6d571895eae4

0

d2e88ac3-2af0-4e97-b142-32e4bd75dadc

6/14/2018 17:13:55

STEP

正确记录输出

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

60af517e-5f27-4c7a-96f9-c47fcb889ce7

6/14/2018 17:13:55

STEP

JavaScript代码

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

bed78c9a-4a9c-4862-9b34-3ad3d5eb3fde

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

89cb570a-1e3a-4f6e-b909-30d7bb31fbe6

99922df2-8f34-4865-bdb9-6d571895eae4

0

89cb570a-1e3a-4f6e-b909-30d7bb31fbe6

6/14/2018 17:13:55

STEP

过滤记录输出

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

c75912a5-d9dd-4adf-ae22-b69edf1ddbfb

6/14/2018 17:13:55

DATABASE

local_zj_ctcc

     

6a38328a-af09-49ac-b9e8-5adc5346e821

99922df2-8f34-4865-bdb9-6d571895eae4

0

6a38328a-af09-49ac-b9e8-5adc5346e821

6/14/2018 17:13:55

STEP

过滤记录输出 2

0

    

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

1b40927e-a18a-459b-a7d3-009195b4ed3a

6/14/2018 17:13:55

DATABASE

local_kettle_log

     

99922df2-8f34-4865-bdb9-6d571895eae4

99922df2-8f34-4865-bdb9-6d571895eae4

0

99922df2-8f34-4865-bdb9-6d571895eae4

6/14/2018 17:13:55

TRANS

错误处理

 

/

D:\etl_project\错误处理.ktr

 

3b5dff4f-0a52-41de-aac6-e5427f3058c7

99922df2-8f34-4865-bdb9-6d571895eae4

 

Metrics:空，无数据

 

 

赣江
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【生产排查】解决 Kettle 没有运行日志的问题
甘蓝的专栏
06-07 206
一个小小的生产问题，排查思路及解决办法。
kettle日志解析_kettle 日志 解析功能
weixin_35815036的博客
12-24 680
解析 kettle 日志文件将 文本文件转成字符串private String readInput(File file) {StringBuffer buffer = new StringBuffer();try {FileInputStream fis = new FileInputStream(file);InputStreamReader isr = new InputStreamReade...
【ETL工具】kettle 程序报错 Javascript error: TypeError: Cannot call method “trim“ of null
康师傅没有眼泪
03-05 2633
2021/03/05 10:17:58 - 设备通道最后上报时间更新.0 - Finished processing (I=0, O=0, R=17253, W=17253, U=0, E=0)2021/03/05 10:17:58 - 记录集连接 3.0 - Finished processing (I=0, O=0, R=38614, W=50469, U=0, E=0)
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
kettle-写日志
weixin_41668007的博客
06-29 2622
日志控件设置 结果
关于Kettle 转换、作业日志自动配置的解决方案
08-20
关于Kettle 转换、作业日志自动配置的解决方案
kettle使用log4j管理输出日志
09-18
参照了几个网上大神配置，部分教程的描述有误，最终调试完成，可以实现kettle日志输出，测试版本kettle data-integration-6.0，jdk1.7，日志位置在你的data-integration-6.0安装目录下，logs。 需要替换的文件为，...
kettle转换、作业日志自动添加进资源库配置解决方案
02-25
Kettle 转换、作业日志自动添加进资源库配置解决方案 Kettle 是一个功能强大的数据集成工具，提供了许多有用的功能，例如数据转换、数据集成、数据报表等。但是在使用 Kettle 的过程中，发现每次新配置一个转换或...
ETL之kettle基础-PPT讲解
08-21
例如，`classes`目录存放生命周期监听和日志配置，`lib`和`libswt`包含必需的库文件，`plugins`目录用于存放插件，而`samples`则提供了示例供用户参考。 学习Kettle需要一定的编程基础，特别是熟悉数据库操作，如...
Kettle操作指南与使用总结
12-14
基于kettle的实战操作手册以及kettle对CDH和原生Apache 大数据组件的操作以及数据抽取性能对比总结
kettle日志解析_Kettle运行日志记录
weixin_42440934的博客
12-24 6175
原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2173882在kettle.properties中，可以定义参数KETTLE_JOB_LOG_DB=dw1KETTLE_JOB_LOG_TABLE=bi_etl_job_log_tableKETTLE_TRANS_LOG_DB=dw1KETTLE_TRANS_LOG_TABLE=bi_etl_trans_...
kettle转换日志分析，便捷统计出具体操作了哪些表格，不再迷茫
quantam的博客
05-30 815
日志表分析 当我们进行kettle作业时，为了了解操作了哪些表格，我们可以在数据库中查找r_step这个表格 这个表中有用的列是name 、id_step_type这两列 查看发现id_step_type这个表中只有169、180、187、188这几个数字，代表什么意识呢？ 在r_step_type这个表给出解析 169 InsertUpdate 插入 / 更新 基于关键字更新或插入记录到数据库. 180 Dummy 空操作 (什么也不做) 这个步骤类型什么都不作.{0}
记录kettle日志
weixin_42855525的博客
09-19 978
记录kettle任务执行时控制台内容
【kettle】定时发送邮件 附件多个作业执行日志
最新发布
snuggg的博客
09-06 521
kettle定时带附件发邮件
kettle 记录日志功能实现
whandgdh的博客
09-17 9203
日志是数仓很重要的组成部分，能记录到每个job，每一步的执行起止时间，错误信息。kettle有强大的日志功能。实现形式有控制台打印，后台日志表。 控制台打印如下 2、日志记录表 双击job中的空白区域，进入日志界面如下下图所示： 日志表名可以任意取，然后日志表字典根据需要确定。然后选择sql，得到创建日志表sql 然后执行，日志表已经创建好了。 然后保存，执行job。 通过数据库查看运行日志记录 SELECT t.* FROM etl_log t; 从日志中可以看到运行时间，状态，但是对
kettle 运行时内存溢出问题调优经验总结
qq_36211262的博客
08-10 6895
大概意思就是说，JVM花费了98%的时间进行垃圾回收，而只得到2%可用的内存，频繁的进行内存回收(最起码已经进行了5次连续的垃圾回收)，JVM就会曝出java.lang.OutOfMemoryError: GC overhead limit exceeded错误。objectTimeout=1440 默认一天，即将执行完成的Job对象保留一天时间，可以在kettle.properties中自定义该属性的值，这边改的是5分钟，即任务执行完成后5分钟就会被扫描成过期的对象，让它尽量在年轻代就被回收掉。.....
kettle笔记
weixin_41672684的博客
03-17 2511
目录 课程一 第二课 数据库单表的全量同步 第三课 数据库点表的增量同步 第四课 同步的错误原因记录到日志表 课程一 增加常量：可以实现在流中增加一个新的字段常量 值映射：可以将流中的值映射为指定的值 有默认选项 字段选择：（转换）可以改流中字段 起别名 设置类型 获取系统信息：（输入） 第二课 数据库单表的全量同步 目标 字段选择：更改了了日期时间的格式 字符串选择：将原来的密码值123替换为11111 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值