kettle日志之使用xml标签实现日志记录入库

最新推荐文章于 2023-11-30 09:57:45 发布
最新推荐文章于 2023-11-30 09:57:45 发布
阅读量2.8k 收藏
点赞数
分类专栏： ETL实践 文章标签： xml buffer object
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdk2006/article/details/7543068
版权

1、

<log>
			<trans-log-table>
				<connection>kettle_step_log_table</connection>
				<schema/>
				<table>kettle_trans_log_table</table>
				<size_limit_lines/>
				<interval/>
				<timeout_days/>
				<field>
					<id>ID_BATCH</id>
					<enabled>Y</enabled>
					<name>ID_BATCH</name>
				</field>
				<field>
					<id>CHANNEL_ID</id>
					<enabled>Y</enabled>
					<name>CHANNEL_ID</name>
				</field>
				<field>
					<id>TRANSNAME</id>
					<enabled>Y</enabled>
					<name>TRANSNAME</name>
				</field>
				<field>
					<id>STATUS</id>
					<enabled>Y</enabled>
					<name>STATUS</name>
				</field>
				<field>
					<id>LINES_READ</id>
					<enabled>Y</enabled>
					<name>LINES_READ</name>
					<subject/>
				</field>
				<field>
					<id>LINES_WRITTEN</id>
					<enabled>Y</enabled>
					<name>LINES_WRITTEN</name>
					<subject/>
				</field>
				<field>
					<id>LINES_UPDATED</id>
					<enabled>Y</enabled>
					<name>LINES_UPDATED</name>
					<subject/>
				</field>
				<field>
					<id>LINES_INPUT</id>
					<enabled>Y</enabled>
					<name>LINES_INPUT</name>
					<subject/>
				</field>
				<field>
					<id>LINES_OUTPUT</id>
					<enabled>Y</enabled>
					<name>LINES_OUTPUT</name>
					<subject/>
				</field>
				<field>
					<id>LINES_REJECTED</id>
					<enabled>Y</enabled>
					<name>LINES_REJECTED</name>
					<subject/>
				</field>
				<field>
					<id>ERRORS</id>
					<enabled>Y</enabled>
					<name>ERRORS</name>
				</field>
				<field>
					<id>STARTDATE</id>
					<enabled>Y</enabled>
					<name>STARTDATE</name>
				</field>
				<field>
					<id>ENDDATE</id>
					<enabled>Y</enabled>
					<name>ENDDATE</name>
				</field>
				<field>
					<id>LOGDATE</id>
					<enabled>Y</enabled>
					<name>LOGDATE</name>
				</field>
				<field>
					<id>DEPDATE</id>
					<enabled>Y</enabled>
					<name>DEPDATE</name>
				</field>
				<field>
					<id>REPLAYDATE</id>
					<enabled>Y</enabled>
					<name>REPLAYDATE</name>
				</field>
				<field>
					<id>LOG_FIELD</id>
					<enabled>Y</enabled>
					<name>LOG_FIELD</name>
				</field>
			</trans-log-table>
			<perf-log-table>
				<connection/>
				<schema/>
				<table/>
				<interval/>
				<timeout_days/>
				<field>
					<id>ID_BATCH</id>
					<enabled>Y</enabled>
					<name>ID_BATCH</name>
				</field>
				<field>
					<id>SEQ_NR</id>
					<enabled>Y</enabled>
					<name>SEQ_NR</name>
				</field>
				<field>
					<id>LOGDATE</id>
					<enabled>Y</enabled>
					<name>LOGDATE</name>
				</field>
				<field>
					<id>TRANSNAME</id>
					<enabled>Y</enabled>
					<name>TRANSNAME</name>
				</field>
				<field>
					<id>STEPNAME</id>
					<enabled>Y</enabled>
					<name>STEPNAME</name>
				</field>
				<field>
					<id>STEP_COPY</id>
					<enabled>Y</enabled>
					<name>STEP_COPY</name>
				</field>
				<field>
					<id>LINES_READ</id>
					<enabled>Y</enabled>
					<name>LINES_READ</name>
				</field>
				<field>
					<id>LINES_WRITTEN</id>
					<enabled>Y</enabled>
					<name>LINES_WRITTEN</name>
				</field>
				<field>
					<id>LINES_UPDATED</id>
					<enabled>Y</enabled>
					<name>LINES_UPDATED</name>
				</field>
				<field>
					<id>LINES_INPUT</id>
					<enabled>Y</enabled>
					<name>LINES_INPUT</name>
				</field>
				<field>
					<id>LINES_OUTPUT</id>
					<enabled>Y</enabled>
					<name>LINES_OUTPUT</name>
				</field>
				<field>
					<id>LINES_REJECTED</id>
					<enabled>Y</enabled>
					<name>LINES_REJECTED</name>
				</field>
				<field>
					<id>ERRORS</id>
					<enabled>Y</enabled>
					<name>ERRORS</name>
				</field>
				<field>
					<id>INPUT_BUFFER_ROWS</id>
					<enabled>Y</enabled>
					<name>INPUT_BUFFER_ROWS</name>
				</field>
				<field>
					<id>OUTPUT_BUFFER_ROWS</id>
					<enabled>Y</enabled>
					<name>OUTPUT_BUFFER_ROWS</name>
				</field>
			</perf-log-table>
			<channel-log-table>
				<connection/>
				<schema/>
				<table/>
				<timeout_days/>
				<field>
					<id>ID_BATCH</id>
					<enabled>Y</enabled>
					<name>ID_BATCH</name>
				</field>
				<field>
					<id>CHANNEL_ID</id>
					<enabled>Y</enabled>
					<name>CHANNEL_ID</name>
				</field>
				<field>
					<id>LOG_DATE</id>
					<enabled>Y</enabled>
					<name>LOG_DATE</name>
				</field>
				<field>
					<id>LOGGING_OBJECT_TYPE</id>
					<enabled>Y</enabled>
					<name>LOGGING_OBJECT_TYPE</name>
				</field>
				<field>
					<id>OBJECT_NAME</id>
					<enabled>Y</enabled>
					<name>OBJECT_NAME</name>
				</field>
				<field>
					<id>OBJECT_COPY</id>
					<enabled>Y</enabled>
					<name>OBJECT_COPY</name>
				</field>
				<field>
					<id>REPOSITORY_DIRECTORY</id>
					<enabled>Y</enabled>
					<name>REPOSITORY_DIRECTORY</name>
				</field>
				<field>
					<id>FILENAME</id>
					<enabled>Y</enabled>
					<name>FILENAME</name>
				</field>
				<field>
					<id>OBJECT_ID</id>
					<enabled>Y</enabled>
					<name>OBJECT_ID</name>
				</field>
				<field>
					<id>OBJECT_REVISION</id>
					<enabled>Y</enabled>
					<name>OBJECT_REVISION</name>
				</field>
				<field>
					<id>PARENT_CHANNEL_ID</id>
					<enabled>Y</enabled>
					<name>PARENT_CHANNEL_ID</name>
				</field>
				<field>
					<id>ROOT_CHANNEL_ID</id>
					<enabled>Y</enabled>
					<name>ROOT_CHANNEL_ID</name>
				</field>
			</channel-log-table>
			<step-log-table>
				<connection>kettle_step_log_table</connection>
				<schema/>
				<table>kettle_step_log_table</table>
				<timeout_days/>
				<field>
					<id>ID_BATCH</id>
					<enabled>Y</enabled>
					<name>ID_BATCH</name>
				</field>
				<field>
					<id>CHANNEL_ID</id>
					<enabled>Y</enabled>
					<name>CHANNEL_ID</name>
				</field>
				<field>
					<id>LOG_DATE</id>
					<enabled>Y</enabled>
					<name>LOG_DATE</name>
				</field>
				<field>
					<id>TRANSNAME</id>
					<enabled>Y</enabled>
					<name>TRANSNAME</name>
				</field>
				<field>
					<id>STEPNAME</id>
					<enabled>Y</enabled>
					<name>STEPNAME</name>
				</field>
				<field>
					<id>STEP_COPY</id>
					<enabled>Y</enabled>
					<name>STEP_COPY</name>
				</field>
				<field>
					<id>LINES_READ</id>
					<enabled>Y</enabled>
					<name>LINES_READ</name>
				</field>
				<field>
					<id>LINES_WRITTEN</id>
					<enabled>Y</enabled>
					<name>LINES_WRITTEN</name>
				</field>
				<field>
					<id>LINES_UPDATED</id>
					<enabled>Y</enabled>
					<name>LINES_UPDATED</name>
				</field>
				<field>
					<id>LINES_INPUT</id>
					<enabled>Y</enabled>
					<name>LINES_INPUT</name>
				</field>
				<field>
					<id>LINES_OUTPUT</id>
					<enabled>Y</enabled>
					<name>LINES_OUTPUT</name>
				</field>
				<field>
					<id>LINES_REJECTED</id>
					<enabled>Y</enabled>
					<name>LINES_REJECTED</name>
				</field>
				<field>
					<id>ERRORS</id>
					<enabled>Y</enabled>
					<name>ERRORS</name>
				</field>
				<field>
					<id>LOG_FIELD</id>
					<enabled>N</enabled>
					<name>LOG_FIELD</name>
				</field>
			</step-log-table>
		</log>


 

zokaper
关注
专栏目录
hadoop组件---hbase--海量数据使用importtsv和Bulk load导入hbase最详细实践
直到世界的尽头
03-21 4703
我们本章来探索海量数据使用importtsv和Bulk load导入hbase最详细实践。 我们之前已经尝试了使用kettle把mongodb的数据导入hbase，但是发现速度比较慢。 单机kettle导入hbase，6700万条数据使用了27个小时，4亿多条数据需要的时间就更多了。 情况介绍 HBase本身提供了很多种数据导入的方式，目前常用的有三种常用方式： 1、使用HBase原...
ETL 以及 KETTLE 简介
甘琤的专栏
04-16 1万+
 ETL 以及 KETTLE 简介注：好多内容来自于互联网，我只不过是摘抄汇总，并加以排版 目 录1.    什么是ETL. 22.    KETTLE简介... 32.1.     Chef——工作(job)设计器... 32.1.1.      Chef中的作业项包括：... 32.1.2.      工作流... 32.1.3.      存储方式
kettle使用log4j管理输出日志
09-18
参照了几个网上大神配置，部分教程的描述有误，最终调试完成，可以实现kettle日志输出，测试版本kettle data-integration-6.0，jdk1.7，日志位置在你的data-integration-6.0安装目录下，logs。 需要替换的文件为，Kettle的程序目录下data-integration-6.0\plugins\kettle5-log4j-plugin中有一个log4j.xml文件。
Kettle日志管理
qq_27413179的博客
12-17 1114
#Kettle日志管理 当移植程序Kettle在服务器上执行时，执行记录无法批量删除，日志不够详细且无法保存， 现提供以下解决方案。 在数据库中建立日志表 打开任意JOB（若要创建transformation级别日志，则打开任意transformatiion），在空白处双击，选择log选项卡，选择Job_log_table,然后选择数据库连接，填写日志表名称（日志表不需要自己创建）。 点击SQL，...
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
java调用Kettle5.3任务
05-25
- **导入库**：首先，需要在Java项目中添加Kettle的JAR库，通常包括`kettle-engine.jar`、`kettle-core.jar`以及可能的其他依赖库。 - **创建TransMeta对象**：这是表示转换元数据的对象，包含了转换的所有信息，...
kettle 笛卡尔_Kettle-Spoon入门示例
weixin_30646903的博客
12-23 353
Spoon是Kettle的设计调试工具1． 微软ETL与Java 开源Kettle做下对比微软Integration Services 项目 测试(仅2008版做比较，更高版本未尝试)a) 整体结构b) 全量&增量Kettle Spoon项目a) 随机数过滤分支b) 计算器c) 笛卡尔计算...
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2029
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
关于Kettle 转换、作业日志自动配置的解决方案
08-20
关于Kettle 转换、作业日志自动配置的解决方案
KETTLE日志记录、任务巡检、邮件发送
最新发布
qq_14981377的博客
11-30 2191
项目中大部分的定时任务采用的是KETTLE这种开源工具来进行数据共享和推送的，任务执行情况需要人工定期巡检，任务较多，容易疏漏，本文记录了一种kettle巡检的方式，读者可以参考一下。提示：以下是本篇文章正文内容，下面案例可供参考路漫漫其修远兮，吾将上下而求索。
用Kettle的一套流程完成对整个数据库迁移
lhy55040817的专栏
11-26 9023
需求： 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导： 实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\process all tables）。 通过相关改造，终于达到目标。 实现过程
kettle日志输出到数据库，LINES_READ,LINES_WRITTEN,LINES_UPDATE等字段为0的设置
qq_41717559的博客
10-12 1903
最近项目中用到kettle，一直在研究kettle日志方面，今天遇到的问题是kettle执行转换后输出日志到数据库，LINES_READ,LINES_WRITTEN,LINES_UPDATE等字段为0，网上查了很多资料说是需要设置步骤，搜了半天也没有搜到，在一个博客的评论下面找到了方法，记录一下，在相关字段后面设置对应步骤，就ok了 附上Java代码的设置 Variabl...
kettle通过xml读取数据库连接
热门推荐
张俊芳的专栏
10-11 1万+
<br />    以前总是把数据库连接直接设置在了ktr文件中，由于数据库连接的地址经常更换，就想通过xml来读取数据库连接，更换数据库连接时直接修改xml文件就行了。<br />这是我的数据库连接xml文件database.xml（以oracle为列）：<br /><?xml version="1.0" encoding="UTF-8" standalone="no"?><br /><Database><br /> <URL>jdbc:oracle:thin:@192.168.1.100:1521:or
linux下用命令运行kettle中的trans并传参数
Mr.Zheng的博客
10-29 1596
前言 这个比较简单直接上命令 ./pan.sh -file=/home/impdatahd/kettle/kettle_transition/test01.ktr -logfile = /home/impdatahd/kettle/log/zhengkw.log -trans =test01 -param:create_time= '2020-08-01' -level=basic>>/home/impdatahd/kettle/log/test_$(date "+%Y%m%d").l
kettle日志添加字段的源码修改
梦泡泡的专栏
07-13 4170
LogTableInterface.java(/kettle4.2/src-db/org/pentaho/di/core/logging/LogTableInterface.java) 73、74行添加接口方法： //增加jobName参数 mengshanfeng public RowMetaAndDatagetLogRecord(LogStatus status, Object
kettle日志解析_Kettle运行日志记录
weixin_42440934的博客
12-24 6254
原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2173882在kettle.properties中，可以定义参数KETTLE_JOB_LOG_DB=dw1KETTLE_JOB_LOG_TABLE=bi_etl_job_log_tableKETTLE_TRANS_LOG_DB=dw1KETTLE_TRANS_LOG_TABLE=bi_etl_trans_...
kettle指定默认日志表
weixin_42855525的博客
09-19 1557
kettle转换作业日志表配置
Kettle转换实例：数据库字段处理与日志记录
最后，为了实现日志记录，Kettle提供了多种日志组件，如"Row denormaliser"或"Log Row"，可以记录处理的每一步信息，便于追踪和调试。此外，为了实现调度程序定时调用，Kettle可以与Pentaho Job集成，设置定时任务来...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值