kettle 分析mysql日志_Kettle日志之Kettle step materic日志代码实现（一）

于 2021-02-26 08:28:33 发布
阅读量383 收藏 1
点赞数
文章标签： kettle 分析mysql日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39683863/article/details/114723013
版权
本文介绍了如何使用Kettle 4.0在Java环境中分析MySQL日志并将其存储到Oracle数据库的步骤。内容包括创建Step日志表的Oracle SQL，配置Kettle的日志数据库连接，提供Trans实现代码示例，以及展示控制台运行和日志表查询结果。
摘要由CSDN通过智能技术生成

一、Developer Environment：

JDK1.6

MyEclipse6.5

Kettle4.0

二、Code List

1、创建Step日志表kettle_step_log_table(Oracle建表sql)

create table KETTLE_STEP_LOG_TABLE

(

ID_BATCH INTEGER,

CHANNEL_ID VARCHAR2(255),

LOG_DATE DATE,

TRANSNAME VARCHAR2(255),

STEPNAME VARCHAR2(255),

STEP_COPY INTEGER,

LINES_READ INTEGER,

LINES_WRITTEN INTEGER,

LINES_UPDATED INTEGER,

LINES_INPUT INTEGER,

LINES_OUTPUT INTEGER,

LINES_REJECTED INTEGER,

ERRORS INTEGER,

LOG_FIELD CLOB

)

2、配置step日志数据库连接

kettle_step_log_table

10.10.3.52

ORACLE

Native

DGWSJ

1521

bsoft

Encrypted 2be98afc86aa7f2e4cb79ce72cd9da9ce

FORCE_IDENTIFIERS_TO_LOWERCASEN

FORCE_IDENTIFIERS_TO_UPPERCASEN

最低0.47元/天 解锁文章
weixin_39683863
关注
kettle 分析mysql日志_Kettle实战100篇 第20篇 MySQL数据库导出到ElasticSearch
weixin_36208880的博客
02-26 404
业务需求：在系统上线后,原系统的日志信息是存储到MySQL数据库中,但是随着日志数据越来越大,导致数据查询缓慢,加上日志数据并非业务系统关键数据,因此,系统考虑改版升级,使用ElasticSearch来存储日志数据,因此需要将源存在MySQL数据库上的数据迁移到ES中简单示例我们先来看一个简单的ES导入数据范例,建立ES的索引结构PUT /scheduler_log建立字段信息PUT schedu...
kettle mysql 批量加载_通过kettle 的gpload 插件和greenplum-loaders实现批量并行加载
weixin_36212212的博客
02-01 894
1.安装客户端，前面已经说过。不在多言2.修改kettle的源码/*!* This program is free software; you can redistribute it and/or modify it under the* terms of the GNU Lesser General Public License, version 2.1 as published by the ...
使用Kettle获取MySQL日志文件名称
05-01
使用Kettle获取MySQL日志文件名称
kettle作业（job）调用转换，设置变量，写日志到数据库中【转】
weixin_34356138的博客
07-03 1346
首先建立转换：从数据库表到日志 表输入的设置：   日志设置：   新建job:     转换选择刚才建好的输出日志转换。变量设置如下： 此ID就是转换中的${ID}，执行job，可以看到控制台输出日志结果：   黑色字体部分中只写出了id=1的一条记录。   最后补充，将转换的日志写到数据库中：打开转换>ctrl+t>日志选项...
java调用kettle api 操作日志写入到数据库表
iteye_17500的博客
04-18 2814
CREATE TABLE `t_lzfx_data_log` ( `ID` bigint(20) NOT NULL AUTO_INCREMENT, `ID_BATCH` int(11) DEFAULT '0', `CHANNEL_ID` varchar(255) DEFAULT NULL, `TRANSNAME` varchar(255) DEFAULT NULL, ...
kettle MySQL blob_java调用kettle api 操作日志写入到数据库表
weixin_28783937的博客
02-06 305
CREATE TABLE `t_lzfx_data_log` (`ID` bigint(20) NOT NULL AUTO_INCREMENT,`ID_BATCH` int(11) DEFAULT '0',`CHANNEL_ID` varchar(255) DEFAULT NULL,`TRANSNAME` varchar(255) DEFAULT NULL,`STEPNAME` varchar(2...
kettle转换、作业日志自动添加进资源库配置解决方案
02-25
例如，我们可以将连接的名称设置为“kettlefirst”，然后创建四个日志表，分别是 TB_TRANS_LOG、TB_STEP_LOG、TB_PERFORMANCE_LOG、TB_CHANNEL_LOG。 在生成日志时，对于 MySQL 需要手动修改数据库字段。例如，我们...
【ETL】Pentaho Kettle 日志扩展开发
愚蠢的小根儿
11-09 1442
前言 安装过Pentaho Server的朋友应该都有一个疑问，Pentaho Server提供了Scheduler页面，可以定时调度任务执行，但是却没有相应的任务执行详情页面，看不到任务的运行细节和报错信息。其实Kettle的任务和转换都已经自带完备的日志机制，只需配置一下，将日志信息写入数据库，再开发一个前端页面，整合进Pentaho Server页面中，将数据库中的日志信息展示出来，就可以很...
ETL之kettle基础-PPT讲解
08-21
在实践中，结合这些数据库知识，通过调试代码，可以更深入地理解和应用Kettle。通过学习Kettle，你可以掌握数据抽取、转换和装载的技巧，了解其不足点，以及如何进行数据同步的优化。 总之，ETL中的Kettle是一个...
kettle 日志存到mysql_java调用kettle api 操作日志写入到数据库表
weixin_36078669的博客
02-07 529
CREATE TABLE `t_lzfx_data_log` (`ID` bigint(20) NOT NULL AUTO_INCREMENT,`ID_BATCH` int(11) DEFAULT '0',`CHANNEL_ID` varchar(255) DEFAULT NULL,`TRANSNAME` varchar(255) DEFAULT NULL,`STEPNAME` varchar(2...
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
kettle日志解析_kettle日志记录
weixin_39568889的博客
12-24 681
环境描述：现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了问题解决：下面是一个具体的操作流程首先建立数据库表CREATE TABLE test_1(id INT,NAME VARCHAR(10));INSERT INTO test_1 VALUES(1,'hsj');CREATE TABLE test_2(id INT PRIMARY KEY NOT NULL,NAME ...
kettle 日志存到mysql_kettle作业（job）调用转换，设置变量，写日志到数据库中【转】...
weixin_39944375的博客
02-17 290
构造函数,const char*与c_str/******************************************************************************* * 版权所有: * 模 块 名: * ...WPF DATAGRID - COMMITTING CHANGES CELL-BY-CEL...
kettle日志解析_kettle之日志有关方面的总结
weixin_42357256的博客
01-14 4048
jobmysql1.job日志sqljob日志有三种：数据库做业日志表：总体的记录oracle做业项日志表：每一个项目的日志测试日志通道日志表：spa第一次配置，由于数据库中尚未这个表，须要手动点击sql建立表，而后执行sql。3d日志模式：oracle等数据库种有模式概念，mysql不须要填写日志记录时间间隔：运行的时候多久写一次，在做业日志表中对应：logdate时间每10秒写一次code日志...
Kettle日志相关源码分析以及总结
西京刀客
07-17 2671
kettle日志基础 public enum LogLevel { NOTHING(0, “Nothing”), ERROR(1, “Error”), MINIMAL(2, “Minimal”), BASIC(3, “Basic”), DETAILED(4, “Detailed”), DEBUG(5, “Debug”), ROWLEVEL(6, “Rowlevel”); Nothing 没有日志 ...
【Kettle】 kettle 执行日志输出到数据库
热门推荐
℡華ゞ
11-17 1万+
1.右键进入转换设置页面，选择日志表要放在哪个数据库几日志表名称 2.设置好后，点击下方的SQL按钮，会弹出创建表语句，执行即可
Kettle配置自动发送邮件并在数据库中记录运行日志
Angelina7的博客
04-20 8141
①通过在WINDOWS下的任务计划程序，在D:\kettle下创建一个bat文件，在D:\kettle\dispatchPRODTCT\mail\创建一个JOB调用KTR文件来实现定时发送邮件的任务。 ②每一次执行操作记录日志：data_etl.t_mail_task 步骤说明 1.1，配置数据库连接，创建一个转换 1.2双击表输入，注意：表连接里不能出现truncat
Kettle日志之Kettle step materic日志代码实现（一）
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
05-07 7419
一、Developer Environment： JDK1.6 MyEclipse6.5 Kettle4.0 二、Code List 1、创建Step日志表kettle_step_log_table（Oracle建表sql） create table KETTLE_STEP_LOG_TABLE ( ID_BATCH INTEGER, CHANNEL_ID V
kettle转换日志分析，便捷统计出具体操作了哪些表格，不再迷茫
quantam的博客
05-30 834
日志表分析 当我们进行kettle作业时，为了了解操作了哪些表格，我们可以在数据库中查找r_step这个表格 这个表中有用的列是name 、id_step_type这两列 查看发现id_step_type这个表中只有169、180、187、188这几个数字，代表什么意识呢？ 在r_step_type这个表给出解析 169 InsertUpdate 插入 / 更新 基于关键字更新或插入记录到数据库. 180 Dummy 空操作 (什么也不做) 这个步骤类型什么都不作.{0}
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值