kettle日志解析_Kettle运行日志记录

最新推荐文章于 2024-08-26 16:19:31 发布
最新推荐文章于 2024-08-26 16:19:31 发布
阅读量6.2k 收藏 1
点赞数
文章标签： kettle日志解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42440934/article/details/111962642
版权
本文探讨了在Kettle中如何全局设置日志记录，分析了在大量作业情况下可能出现的表锁和效率问题。作者通过研究源码，发现并解决了Job日志无法记录的问题，主要是通过在JobEntryJob.java中添加一行代码实现。最后，提供了针对Kettle 4.4版本的解决方案，并警告不同版本可能需要相应调整。
摘要由CSDN通过智能技术生成

原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2173882

在kettle.properties中，可以定义参数

KETTLE_JOB_LOG_DB=dw1

KETTLE_JOB_LOG_TABLE=bi_etl_job_log_table

KETTLE_TRANS_LOG_DB=dw1

KETTLE_TRANS_LOG_TABLE=bi_etl_trans_log_table

来全局设置，记录kettle的job和trans日志，

记录日志，会进行锁表，在kettle作业非常多的情况下，容易造成表锁，以及队列等待job日志记录的情况严重影响效率。以及作业的调度。

在trans下有个步骤Set Variables，用于设定变量。

写了个job测试了下，发现，trans日志能够正常记录，但是job日志无法记录。

很纳闷，百思不得其解。想不通，以为是版本的问题，更新到最新版本pdi-ce-5.2.0.0-209，问题依旧。

难道，Kettle的设计Set Variables设置变量，其变量只能用于trans，无法用于job吗？

难道需要每个job都要如上的去进行手动设置嘛，太麻烦了，不想这么搞。

打开Eclipse，查看Kettle源码，跟踪了半天，发现了

最低0.47元/天 解锁文章
张勇18613964002
关注
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
KETTLE日志记录、任务巡检、邮件发送
qq_14981377的博客
11-30 2333
项目中大部分的定时任务采用的是KETTLE这种开源工具来进行数据共享和推送的，任务执行情况需要人工定期巡检，任务较多，容易疏漏，本文记录了一种kettle巡检的方式，读者可以参考一下。提示：以下是本篇文章正文内容，下面案例可供参考路漫漫其修远兮，吾将上下而求索。
Kettle Spoon 定义错误处理 捕捉错误（3） 保姆级教程实例 本地错误日志文件或者数据库错误日志记录 添加变量、自定义列、报错日期时间
最新发布
garbageSystem的博客
08-26 893
Kettle Spoon 定义错误处理 捕捉错误 保姆级教程实例 添加变量、自定义列、报错日期时间。包含日志报错的SQL Server和MySQL的建表语句，以及错误日志没有关于报错时间的解决办法。中间通过设置变量，来获取自定义内容，添加执行spoon的文件路径以及转换名称。实现将所有的spoon定时脚本的报错汇总在一个表中而不至于混淆报错对象。错误日志没有关于报错时间的信息的解决办法
Nacos频繁打印日志
Jak的博客
09-15 3416
一.nacos频繁打印日志 项目集成nacos几天后发现，nginx访问日志，还有nacos日志频繁打印，威胁磁盘空间，但是有些日志完全，就不需要记录 这些日志，可以注释，nacos\conf\nacos-logback.xml中配置，来关闭不要打印的日志。 日志最多排名 1.naming-server 2.naming-raft 3.config-memory 4.config-server 或者将里面的日志级别改为warn或者error 参考一、参考二、参考三 ...
kettle日志记录
ajsyipsc40270的博客
09-08 949
环境描述： 现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了 问题解决： 下面是一个具体的操作流程 首先建立数据库表 CREATE TABLE test_1(id INT,NAME VARCHAR(10)); INSERT INTO test_1 VALUES(1,'hsj'); CREATE TABLE test_2(id INT P...
【Kettle从零开始】第十弹之Kettle运行日志介绍
热门推荐
RotKang
03-11 4万+
关于Kettle日志是很重要的一部分，因为不管是任何信息都只能通过日志的方式来查找自己所关心的信息。 日志存储有两种方式：一种是文本文件存储日志，另一种是资源库存储日志(注：Kettle资源库日志分两类，一类是Job日志，一类是Trans日志)。 日志级别有七类： 序号 级别 描述 1 没有日志（Nothing） 基本
kettle日志解析_Kettle日志-基础篇
weixin_39804523的博客
12-24 2381
一、内容提要与程序员类似，ETL工程师在日常工作中同样面临开发、调试、部署等环节。Kettle把开发与调试集中在Spoon中完成，部署主要通过Pan、Kitchen、Carte三者完成。开发调试时，可通过可视化界面非常直观地了解执行过程所有细节。一旦Kettle正式部署(一般称之为生产环境)，想要了解执行过程就不那么直观了。大多数情况下，生产环境不会把服务器资源浪费在可视化上，技术服务商总是希望所...
kettle 分析mysql日志_Kettle日志之Kettle step materic日志代码实现（一）
weixin_39683863的博客
02-26 387
一、Developer Environment：JDK1.6MyEclipse6.5Kettle4.0二、Code List1、创建Step日志表kettle_step_log_table(Oracle建表sql)create table KETTLE_STEP_LOG_TABLE(ID_BATCH INTEGER,CHANNEL_ID VARCHAR2(255),LOG_DA...
kettle批量解析多个xml文件
05-25
8. **错误处理和日志记录**：为保证生产环境的稳定性，应设置适当的错误处理机制，如错误日志记录和错误数据的隔离处理。 通过以上步骤，Kettle可以高效地批量解析XML文件并导入到Oracle数据库，满足生产环境中的...
关于Kettle 转换、作业日志自动配置的解决方案
08-20
#### Kettle日志配置背景 在Kettle中，每个转换或作业都可以单独配置其日志记录方式，包括日志级别、日志格式、存储位置等。这种灵活性虽然强大，但对于大型项目来说，频繁的手动配置过程不仅耗时，还可能因疏忽...
kettle日志解析_kettle 日志 解析功能
weixin_29787613的博客
02-06 643
解析 kettle 日志文件将 文本文件转成字符串private String readInput(File file) {StringBuffer buffer = new StringBuffer();try {FileInputStream fis = new FileInputStream(file);InputStreamReader isr = new InputStreamReade...
kettle使用log4j管理输出日志
09-18
参照了几个网上大神配置，部分教程的描述有误，最终调试完成，可以实现kettle日志输出，测试版本kettle data-integration-6.0，jdk1.7，日志位置在你的data-integration-6.0安装目录下，logs。 需要替换的文件为，Kettle的程序目录下data-integration-6.0\plugins\kettle5-log4j-plugin中有一个log4j.xml文件。
使用kettle进行日志分析
qq_68383591的博客
05-31 4411
分析日志是一个大数据分析中较为常见的场景。在Unix类操作系统里，Syslog广泛被应用于系统或者应用的日志记录中。Syslog通常被记录在本地文件内，比如Ubuntu内为/var/log/syslog文件名，也可以被发送给远程Syslog服务器。Syslog日志内一般包括产生日志的时间、主机名、程序模块、进程名、进程ID、严重性和日志内容。具体的日志内容如下所示：Jun0117292839095]:10.212143.73rootrootls--colorauto。
【生产排查】解决 Kettle 没有运行日志的问题
甘蓝的专栏
06-07 551
一个小小的生产问题，排查思路及解决办法。
kettle 记录日志功能实现
whandgdh的博客
09-17 9698
日志是数仓很重要的组成部分，能记录到每个job，每一步的执行起止时间，错误信息。kettle有强大的日志功能。实现形式有控制台打印，后台日志表。 控制台打印如下 2、日志记录表 双击job中的空白区域，进入日志界面如下下图所示： 日志表名可以任意取，然后日志表字典根据需要确定。然后选择sql，得到创建日志表sql 然后执行，日志表已经创建好了。 然后保存，执行job。 通过数据库查看运行日志记录 SELECT t.* FROM etl_log t; 从日志中可以看到运行时间，状态，但是对
使用kettle进行正则表达式组件日志分析
m0_55834564的博客
10-24 2661
使用Kettle（Pentaho Data Integration）进行日志分析是一种常见的数据处理任务，特别是当你需要从大量的日志文件中提取和分析数据时。Kettle是一个强大的ETL工具，能够处理各种数据分析任务，包括日志分析。根据你的具体需求和日志的格式，你可以创建适合的转换来提取、转换和分析日志数据。
kettle之日志有关方面的总结
weixin_40479337的博客
05-30 1924
job 1.job日志 job日志有三种： 作业日志表：整体的记录 作业项日志表：每个项目的日志 日志通道日志表： 第一次配置，因为数据库中还没有这个表，需要手动点击sql创建表，然后执行sql。 日志模式：oracle等数据库种有模式概念，mysql不需要填写 记录时间间隔：运行的时候多久写一次，在作...
kettle 分析mysql日志_Kettle实战100篇 第20篇 MySQL数据库导出到ElasticSearch
weixin_36208880的博客
02-26 409
业务需求：在系统上线后,原系统的日志信息是存储到MySQL数据库中,但是随着日志数据越来越大,导致数据查询缓慢,加上日志数据并非业务系统关键数据,因此,系统考虑改版升级,使用ElasticSearch来存储日志数据,因此需要将源存在MySQL数据库上的数据迁移到ES中简单示例我们先来看一个简单的ES导入数据范例,建立ES的索引结构PUT /scheduler_log建立字段信息PUT schedu...
Kettle运行原理与实战应用解析
而任务则负责整体业务流程，涵盖前期准备（如文件检查、脚本执行）、转换调度、日志记录、警报和定时执行等功能。Kettle提供了相应的设计工具（转换设计器和任务设计器）和执行器（转换执行器和任务执行器），使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值