KETTLE执行监控（二）：批量配置方式

已于 2022-06-13 16:00:42 修改
阅读量989 收藏 5
点赞数
分类专栏： KETTLE监控 大数据 文章标签： etl 数据仓库 数据库 KETTLE
于 2022-06-10 13:35:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JpHold/article/details/125217613
版权

准备

  • 不要在KETTLE打开要操作的转换、作业！！！
  • 原理
  1. 先拿到保存日志的数据库的连接配置，然后采用文本编辑，添加/替换到.ktr、.kjb文件里面；
  2. 最后把日志配置关联上数据库连接+本身配置信息，添加/替换到.ktr、.kjb文件里面

安装sublime

指定目录下，搜索文件的指定内容，能满足这个要求的文本编辑器，都可以

日志表的建表语句

  • 基于oracle数据库

作业日志表

-- Create table
create table T_KETTLE_JOB_LOG
(
  id_job           INTEGER,
  channel_id       VARCHAR2(255),
  jobname          VARCHAR2(255),
  status           VARCHAR2(15),
  lines_read       INTEGER,
  lines_written    INTEGER,
  lines_updated    INTEGER,
  lines_input      INTEGER,
  lines_output     INTEGER,
  lines_rejected   INTEGER,
  errors           INTEGER,
  startdate        DATE,
  enddate          DATE,
  logdate          DATE,
  depdate          DATE,
  replaydate       DATE,
  log_field        CLOB,
  executing_server VARCHAR2(255),
  executing_user   VARCHAR2(255),
  start_job_entry  VARCHAR2(255),
  client           VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the table 
comment on table T_KETTLE_JOB_LOG
  is 'KETTLE作业日志';
-- Add comments to the columns 
comment on column T_KETTLE_JOB_LOG.id_job
  is '批次ID（即作业ID），自递增，主键';
comment on column T_KETTLE_JOB_LOG.channel_id
  is '日志通道ID（GUID），跟Logging channel log table有关联';
comment on column T_KETTLE_JOB_LOG.jobname
  is '作业名称';
comment on column T_KETTLE_JOB_LOG.status
  is '执行状态（start、end、stop、running）';
comment on column T_KETTLE_JOB_LOG.lines_read
  is '最后一个转换，读取的行数';
comment on column T_KETTLE_JOB_LOG.lines_written
  is '最后一个转换，写入的行数';
comment on column T_KETTLE_JOB_LOG.lines_updated
  is '最后一个转换，更新的行数';
comment on column T_KETTLE_JOB_LOG.lines_input
  is '最后一个转换，从存储或网络（如文件、数据库等）读取的行数';
comment on column T_KETTLE_JOB_LOG.lines_output
  is '最后一个转换，输出到存储或网络（如文件、数据库等）的行数';
comment on column T_KETTLE_JOB_LOG.lines_rejected
  is '最后一个转换，因错误处理导致拒绝的行数';
comment on column T_KETTLE_JOB_LOG.errors
  is '发生的错误数';
comment on column T_KETTLE_JOB_LOG.startdate
  is '开始执行时间（kettle的bug，始终是1900-01-01 7:00:00）';
comment on column T_KETTLE_JOB_LOG.enddate
  is '结束执行时间';
comment on column T_KETTLE_JOB_LOG.logdate
  is '最后记录日志的时间';
comment on column T_KETTLE_JOB_LOG.depdate
  is '依赖日期，作业设置中的依赖规则计算的最大日期。（不懂）';
comment on column T_KETTLE_JOB_LOG.replaydate
  is '重播日期，跟STARTDATE是同义词（不懂）';
comment on column T_KETTLE_JOB_LOG.log_field
  is '详细日志内容';
comment on column T_KETTLE_JOB_LOG.executing_server
  is '哪个服务器在执行当前作业（主机名）';
comment on column T_KETTLE_JOB_LOG.executing_user
  is '采用存储库方式，则是登录存储库的用户；否则为当前系统的登录用户';
comment on column T_KETTLE_JOB_LOG.start_job_entry
  is '当前作业，从哪个转换开始执行（为空代表是从Start开始）';
comment on column T_KETTLE_JOB_LOG.client
  is '客户端（SPOON、PAN、KITCHEN、CARTE）';
-- Create/Recreate indexes 
create index IDX_T_KETTLE_JOB_LOG_TABLE_1 on T_KETTLE_JOB_LOG (ID_JOB)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_2 on T_KETTLE_JOB_LOG (ERRORS, STATUS, JOBNAME)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_3 on T_KETTLE_JOB_LOG (JOBNAME, LOGDATE)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_4 on T_KETTLE_JOB_LOG (CHANNEL_ID)
  tablespace RHIN_CDR;

作业日志通道表

-- Create table
create table T_KETTLE_JOB_CHANNEL_LOG
(
  id_batch             INTEGER,
  channel_id           VARCHAR2(255),
  log_date             DATE,
  logging_object_type  VARCHAR2(255),
  object_name          VARCHAR2(255),
  object_copy          VARCHAR2(255),
  repository_directory VARCHAR2(255),
  filename             VARCHAR2(255),
  object_id            VARCHAR2(255),
  object_revision      VARCHAR2(255),
  parent_channel_id    VARCHAR2(255),
  root_channel_id      VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the columns 
comment on column T_KETTLE_JOB_CHANNEL_LOG.id_batch
  is '批次ID（即作业ID），与t_kettle_job_log的id_batch字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.channel_id
  is '日志通道ID（GUID），跟t_kettle_step_log的channel_id字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.log_date
  is '最后记录日志的时间';
comment on column T_KETTLE_JOB_CHANNEL_LOG.logging_object_type
  is '被记录对象的类型（如JOB、JOBENTRY、DATABASE、STEP、TRANS）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_name
  is '被记录对象的名称（跟LOGGING_OBJECT_TYPE是一对）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_copy
  is '被记录步骤对象的复制（不懂）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.repository_directory
  is '资源库（或存储）的目录，貌似是JOB、TRANS才有';
comment on column T_KETTLE_JOB_CHANNEL_LOG.filename
  is 'JOB、JOBENTRY、TRANS的路径（只有作业、转换才有）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_id
  is '当前对象ID';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_revision
  is '当前对象版本';
comment on column T_KETTLE_JOB_CHANNEL_LOG.parent_channel_id
  is '所属转换日志的日志通道ID，跟t_kettle_transformation_log的channel_id字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.root_channel_id
  is '所属作业日志的日志通道ID，跟t_kettle_job_log的channel_id字段有关联';
-- Create/Recreate indexes 
create index IDX_T_KETTLE_JOB_CHANNEL_LOG_TABLE_1 on T_KETTLE_JOB_CHANNEL_LOG (CHANNEL_ID)
  tablespace RHIN_CDR;

转换日志表

-- Create table
create table T_KETTLE_TRANSFORMATION_LOG
(
  id_batch         INTEGER,
  channel_id       VARCHAR2(255),
  transname        VARCHAR2(255),
  status           VARCHAR2(15),
  lines_read       INTEGER,
  lines_written    INTEGER,
  lines_updated    INTEGER,
  lines_input      INTEGER,
  lines_output     INTEGER,
  lines_rejected   INTEGER,
  errors           INTEGER,
  startdate        DATE,
  enddate          DATE,
  logdate          DATE,
  depdate          DATE,
  replaydate       DATE,
  log_field        CLOB,
  executing_server VARCHAR2(255),
  executing_user   VARCHAR2(255),
  client           VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the table 
comment on table T_KETTLE_TRANSFORMATION_LOG
  is 'KETTLE转换日志';
-- Add comments to the columns 
comment on column T_KETTLE_TRANSFORMATION_LOG.id_batch
  is '批次ID（即转换ID），自递增';
comment on column T_KETTLE_TRANSFORMATION_LOG.channel_id
  is '日志通道ID（GUID），跟Logging channel log table有关联';
comment on column T_KETTLE_TRANSFORMATION_LOG.transname
  is '转换名称';
comment on column T_KETTLE_TRANSFORMATION_LOG.status
  is '执行状态（start、end、stop、running）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_read
  is '特定步骤，读取的行数（没数据，没用的）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_written
  is '特定步骤，写入的行数（没数据，没用的）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_updated
  is '特定步骤，执行的更新语句的数量';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_input
  is '特定步骤，从存储或网络（如文件、数据库等）读取的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_output
  is '特定步骤，输出到存储或网络（如文件、数据库等）的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_rejected
  is '特定步骤，因错误处理导致拒绝的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.errors
  is '发生的错误数';
comment on column T_KETTLE_TRANSFORMATION_LOG.startdate
  is '开始执行时间（kettle的bug，有些是1900-01-01 7:00:00）';
comment on column T_KETTLE_TRANSFORMATION_LOG.enddate
  is '结束执行时间';
comment on column T_KETTLE_TRANSFORMATION_LOG.logdate
  is '最后记录日志的时间';
comment on column T_KETTLE_TRANSFORMATION_LOG.depdate
  is '依赖日期，作业设置中的依赖规则计算的最大日期。（不懂）';
comment on column T_KETTLE_TRANSFORMATION_LOG.replaydate
  is '重播日期，跟STARTDATE是同义词（不懂）';
comment on column T_KETTLE_TRANSFORMATION_LOG.log_field
  is '详细日志内容';
comment on column T_KETTLE_TRANSFORMATION_LOG.executing_server
  is '哪个服务器在执行当前作业（主机名）';
comment on column T_KETTLE_TRANSFORMATION_LOG.executing_user
  is '采用存储库方式，则是登录存储库的用户；否则为当前系统的登录用户';
comment on column T_KETTLE_TRANSFORMATION_LOG.client
  is '客户端（SPOON、PAN、KITCHEN、CARTE）';
-- Create/Recreate indexes 
create index IDX_T_KETTLE_TRANSFORMATION_1 on T_KETTLE_TRANSFORMATION_LOG (ID_BATCH)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_2 on T_KETTLE_TRANSFORMATION_LOG (ERRORS, STATUS, TRANSNAME)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_3 on T_KETTLE_TRANSFORMATION_LOG (TRANSNAME, LOGDATE)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_4 on T_KETTLE_TRANSFORMATION_LOG (CHANNEL_ID)
  tablespace RHIN_CDR;

转换步骤日志表

-- Create table
create table T_KETTLE_STEP_LOG
(
  id_batch       INTEGER,
  channel_id     VARCHAR2(255),
  transname      VARCHAR2(255),
  stepname       VARCHAR2(255),
  step_copy      INTEGER,
  lines_read     INTEGER,
  lines_written  INTEGER,
  lines_updated  INTEGER,
  lines_input    INTEGER,
  lines_output   INTEGER,
  lines_rejected INTEGER,
  errors         INTEGER,
  log_field      CLOB,
  log_date       DATE
)
tablespace RHIN_CDR;
-- Add comments to the table 
comment on table T_KETTLE_STEP_LOG
  is 'KETTLE转换-步骤日志';
-- Add comments to the columns 
comment on column T_KETTLE_STEP_LOG.id_batch
  is '批次ID（转换ID），自递增，主键';
comment on column T_KETTLE_STEP_LOG.channel_id
  is '日志通道ID（GUID），跟t_kettle_job_channel_log的channel_id字段有关联';
comment on column T_KETTLE_STEP_LOG.transname
  is '转换名称';
comment on column T_KETTLE_STEP_LOG.stepname
  is '步骤名称';
comment on column T_KETTLE_STEP_LOG.step_copy
  is '当前步骤复制的数量';
comment on column T_KETTLE_STEP_LOG.lines_read
  is '从上一个步骤读取的数量';
comment on column T_KETTLE_STEP_LOG.lines_written
  is '输出到跟随的步骤（因为支持并发多个步骤）。假设输入1w条数据，且跟随两个步骤，那么LINES_WRITTEN是2w（1w * 2）';
comment on column T_KETTLE_STEP_LOG.lines_updated
  is '当前步骤，执行的更新语句的数量';
comment on column T_KETTLE_STEP_LOG.lines_input
  is '当前步骤，从来源（文件、数据库、网络等），读取的行数';
comment on column T_KETTLE_STEP_LOG.lines_output
  is '当前步骤，输出到输出端（文件、数据库、网络等）的行数';
comment on column T_KETTLE_STEP_LOG.lines_rejected
  is '当前步骤，因错误处理导致拒绝的行数';
comment on column T_KETTLE_STEP_LOG.errors
  is '当前步骤，发生的错误数';
comment on column T_KETTLE_STEP_LOG.log_field
  is '当前步骤，产生的详细日志内容';
comment on column T_KETTLE_STEP_LOG.log_date
  is '当前步骤，最后记录日志的时间';
-- Create/Recreate indexes 
create index IDX_T_KETTLE_STEP_1 on T_KETTLE_STEP_LOG (ID_BATCH, TRANSNAME, LOG_DATE)
  tablespace RHIN_CDR;
create index IDX_T_KETTLE_STEP_2 on T_KETTLE_STEP_LOG (ERRORS)
  tablespace RHIN_CDR;

  • 文本编辑器，随便打开一个作业或转换（配置过我们数据库的连接，即可），用于保存日志
    找到如下内容（后面会用到）：
<connection>
    <name>xxxDataBaseName</name>
    <server>xxxIP</server>
    <type>ORACLE</type>
    <access>Native</access>
    <database>/xxxServiceName</database>
    <port>xxxPort</port>
    <username>xxxUserName</username>
    <password>Encrypted xxx密码加密</password>
    <servername/>
    <data_tablespace/>
    <index_tablespace/>
    <attributes>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_LOWERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_UPPERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>IS_CLUSTERED</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>PORT_NUMBER</code>
        <attribute>1521</attribute>
      </attribute>
      <attribute>
        <code>PRESERVE_RESERVED_WORD_CASE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>QUOTE_ALL_FIELDS</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>STRICT_NUMBER_38_INTERPRETATION</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_BOOLEAN_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_TIMESTAMP_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>USE_POOLING</code>
        <attribute>N</attribute>
      </attribute>
    </attributes>
  </connection>

转换

  • 使用sublime文本编辑器的全局搜索/替换（Find in Files），快捷键：ctrl+shift+F
  • 搜索路径
    xxx转换的存储目录,*.ktr

配置数据库连接

搜索关键词：

</notepads>

替换
</notepads>
数据库连接配置的内容粘贴过来

像这样：

</notepads>
<connection>
    <name>xxxDataBaseName</name>
    <server>xxxIP</server>
    <type>ORACLE</type>
    <access>Native</access>
    <database>/xxxServiceName</database>
    <port>xxxPort</port>
    <username>xxxUserName</username>
    <password>Encrypted xxx密码加密</password>
    <servername/>
    <data_tablespace/>
    <index_tablespace/>
    <attributes>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_LOWERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_UPPERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>IS_CLUSTERED</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>PORT_NUMBER</code>
        <attribute>1521</attribute>
      </attribute>
      <attribute>
        <code>PRESERVE_RESERVED_WORD_CASE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>QUOTE_ALL_FIELDS</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>STRICT_NUMBER_38_INTERPRETATION</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_BOOLEAN_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_TIMESTAMP_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>USE_POOLING</code>
        <attribute>N</attribute>
      </attribute>
    </attributes>
  </connection>

配置日志表

配置转换日志表

正则搜索关键词：

      <trans-log-table>
        <connection\s*/>
        <schema\s*/>
        <table\s*/>
        <size_limit_lines\s*/>
        <interval\s*/>
        <timeout_days\s*/>

替换

      <trans-log-table>
        <connection>xxxDatabaseName</connection>
        <schema>xxxSchema</schema>
        <table>t_kettle_transformation_log</table>
        <size_limit_lines/>
        <interval/>
        <timeout_days>14</timeout_days>

connection： 创建的数据库连接的名称
schema： 所属数据库
table： 日志表名
size_limit_lines： 记录多少行日志。截取行，不设置则完整日志
interval： 多久记录一次（单位：秒）。执行比较久时，可以指定这个配置，隔一段时间，就将当前日志记录下来。不设置则跑完了才记录
timeout_days： 保留多少天的日志。每次运行时，自动判断+自动清理

修改字段

搜索关键词：

        <field>
          <id>EXECUTING_SERVER</id>
          <enabled>N</enabled>
          <name>EXECUTING_SERVER</name>
        </field>
        <field>
          <id>EXECUTING_USER</id>
          <enabled>N</enabled>
          <name>EXECUTING_USER</name>
        </field>
        <field>
          <id>CLIENT</id>
          <enabled>N</enabled>
          <name>CLIENT</name>
        </field>
      </trans-log-table>

替换

        <field>
          <id>EXECUTING_SERVER</id>
          <enabled>Y</enabled>
          <name>EXECUTING_SERVER</name>
        </field>
        <field>
          <id>EXECUTING_USER</id>
          <enabled>Y</enabled>
          <name>EXECUTING_USER</name>
        </field>
        <field>
          <id>CLIENT</id>
          <enabled>Y</enabled>
          <name>CLIENT</name>
        </field>
      </trans-log-table>

配置转换步骤日志表

正则搜索关键词：

      <step-log-table>
        <connection\s*/>
        <schema\s*/>
        <table\s*/>
        <timeout_days\s*/>

替换

      <step-log-table>
        <connection>xxxDatabaseName</connection>
        <schema>xxxSchema</schema>
        <table>t_kettle_step_log</table>
        <timeout_days>14</timeout_days>

connection： 创建的数据库连接的名称
schema： 所属数据库
table： 日志表名
timeout_days： 保留多少天的日志。每次运行时，自动判断+自动清理

修改字段

搜索关键词：

        <field>
          <id>LOG_FIELD</id>
          <enabled>N</enabled>
          <name>LOG_FIELD</name>
        </field>
      </step-log-table>

替换

        <field>
          <id>LOG_FIELD</id>
          <enabled>Y</enabled>
          <name>LOG_FIELD</name>
        </field>
      </step-log-table>

作业

  • 使用sublime文本编辑器的全局搜索/替换（Find in Files），快捷键：ctrl+shift+F
  • 搜索路径
    xxx转换的存储目录,*.kjb

配置数据库连接

搜索关键词：

<slaveservers>
    </slaveservers>

替换
数据库连接配置的内容粘贴过来

<slaveservers>
    </slaveservers>

像这样：

<slaveservers>
     </slaveservers>
<connection>
    <name>xxxDataBaseName</name>
    <server>xxxIP</server>
    <type>ORACLE</type>
    <access>Native</access>
    <database>/xxxServiceName</database>
    <port>xxxPort</port>
    <username>xxxUserName</username>
    <password>Encrypted xxx密码加密</password>
    <servername/>
    <data_tablespace/>
    <index_tablespace/>
    <attributes>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_LOWERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_UPPERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>IS_CLUSTERED</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>PORT_NUMBER</code>
        <attribute>1521</attribute>
      </attribute>
      <attribute>
        <code>PRESERVE_RESERVED_WORD_CASE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>QUOTE_ALL_FIELDS</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>STRICT_NUMBER_38_INTERPRETATION</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_BOOLEAN_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_TIMESTAMP_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>USE_POOLING</code>
        <attribute>N</attribute>
      </attribute>
    </attributes>
  </connection>

配置日志表

配置作业日志表

正则搜索关键词：

  <job-log-table>
    <connection\s*/>
    <schema\s*/>
    <table\s*/>
    <size_limit_lines\s*/>
    <interval\s*/>
    <timeout_days\s*/>

替换

  <job-log-table>
    <connection>xxxDatabaseName</connection>
    <schema>xxxSchema</schema>
    <table>t_kettle_job_log</table>
    <size_limit_lines/>
    <interval/>
    <timeout_days>14</timeout_days>

connection： 创建的数据库连接的名称
schema： 所属数据库
table： 日志表名
size_limit_lines： 记录多少行日志。截取行，不设置则完整日志
interval： 多久记录一次（单位：秒）。执行比较久时，可以指定这个配置，隔一段时间，就将当前日志记录下来。不设置则跑完了才记录
timeout_days： 保留多少天的日志。每次运行时，自动判断+自动清理

修改字段

搜索关键词

    <field>
      <id>EXECUTING_SERVER</id>
      <enabled>N</enabled>
      <name>EXECUTING_SERVER</name>
    </field>
    <field>
      <id>EXECUTING_USER</id>
      <enabled>N</enabled>
      <name>EXECUTING_USER</name>
    </field>
    <field>
      <id>START_JOB_ENTRY</id>
      <enabled>N</enabled>
      <name>START_JOB_ENTRY</name>
    </field>
    <field>
      <id>CLIENT</id>
      <enabled>N</enabled>
      <name>CLIENT</name>
    </field>
  </job-log-table>

替换

    <field>
      <id>EXECUTING_SERVER</id>
      <enabled>Y</enabled>
      <name>EXECUTING_SERVER</name>
    </field>
    <field>
      <id>EXECUTING_USER</id>
      <enabled>Y</enabled>
      <name>EXECUTING_USER</name>
    </field>
    <field>
      <id>START_JOB_ENTRY</id>
      <enabled>Y</enabled>
      <name>START_JOB_ENTRY</name>
    </field>
    <field>
      <id>CLIENT</id>
      <enabled>Y</enabled>
      <name>CLIENT</name>
    </field>
  </job-log-table>

配置作业日志通道表

正则搜索关键词：

  <channel-log-table>
    <connection\s*/>
    <schema\s*/>
    <table\s*/>
    <timeout_days\s*/>

替换

  <channel-log-table>
    <connection>xxxDatabaseName</connection>
    <schema>xxxSchema</schema>
    <table>t_kettle_job_channel_log</table>
    <timeout_days>14</timeout_days>

connection： 创建的数据库连接的名称
schema： 所属数据库
table： 日志表名
timeout_days： 保留多少天的日志。每次运行时，自动判断+自动清理

buddx
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
作业的创建与监控-kettle
weixin_45944880的博客
11-20 503
作业的创建与监控 实验原理：通过“Start”设定作业执行的顺序与邮件，然后通过“Transformation”调度执行相关的转换，再通过“Success”设定作业执行完毕。创建两个转换分别给两个“Transformation”调用，创建第一个转换，要求将课程信息表里面的无序的<编号>一列去掉；以第一个转换的输出文件为第二个转换的输入文件，创建第二个转换，要求在该信息表里面增加一列<课程编号>，序号值从1开始递增。 实验准备： kettle lesson_info.xlsx信息表，
Kettle调度和监控
xuela-net
07-06 1242
Kettle调度和监控的理论知识介绍，具体内容如下： 1 调度 在这个指导文档中，主介绍两种类型Kettle任务和转换的调度方式。 Ø 操作系统级别的调度器：对于ETL来说，调度不是独一无二的。这是操作系统能够提供标准调度的一般性需要，如UNIX衍生系统上的Cron以及Windows系统上的任务调度器。这些调度器能够拥戴调度Kettle命令行程序来运行任务和转换。 Ø Qu...
循环驱动作业——kettle开发34
最新发布
java程序员的蜕变之路
06-12 872
我们通过变量传参来完成某个日期的数据转换。但可能因程序或者网络原因导致某个时间段的数据抽取失败。常见导致kettle作业失败的原因大概分为三大类，数据源异常、数据库异常、程序异常。因此面对这些异常时，怎么快速恢复批量数据，就需要利用循环来处理，指定含条件的数据，如恢复2023年1月6日至2023年2月02日的数据等等。
KETTLE监控
weixin_30362233的博客
08-31 916
kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。一、集群自带的监控kettle自带的集群监控工具可以监控转换的执行情况。配置好集群后，打开浏览器：输入http://localhost:8080，输入子服务器的用户名和密码进入后，点击show status：点击转换名称可以看到转换的详情：该方式有三个缺点：(1)无法监控job的执行情况。(2)另外，如果一个转换不使用集群执行，也...
基于kettle的简单HTTP接口监控
xueba207的专栏
09-30 1万+
1、使用工具：kettle、excel、shell
KETTLE执行监控（三）：发出报警和查看日志
buddx的博客
06-10 3068
ETL,KETTLE,KETTLE监控,KETTLE日志
利用kettle实现网页访问状态监控以及登录验证
weixin_44570604的博客
12-28 2190
利用kettle实现网页访问状态监控以及登录验证 一、思路总结 1、在钉钉中创建自定义机器人。 2、在kettle利用相应组件进行网页监控与登录验证。 3、通过邮件和钉钉机器人发布结果。 二、具体实现 （一）钉钉创建机器人 在钉钉群设置中找到智能群助手，然后选择添加机器人。 选择自定义（通过Webhook接入），安全设置选择加签，添加完之后可以查看到机器人的基本信息（其中的Webhook和密钥需要提取出来并保存后续步骤会用到）。 （二）利用kettle进行网页访问、登录验证并通过钉钉机器人反馈结果 1
kettle批量解析多个xml文件
05-25
同时，Kettle的监控功能可以帮助跟踪作业执行情况，确保数据导入的稳定性和性能。 8. **错误处理和日志记录**：为保证生产环境的稳定性，应设置适当的错误处理机制，如错误日志记录和错误数据的隔离处理。 通过...
kettle批量下载文件.zip
09-08
6. **监控和调度**：Kettle支持通过Pentaho Server进行调度和监控，使用户能够定期执行批量下载任务，确保数据的及时更新。 7. **日志和报告**：Kettle还提供了丰富的日志记录和报告功能，以便跟踪和分析批量下载的...
kettle7.1批量下载HTTP文件
09-15
9. **调度和自动化**：完成主作业和下载作业的创建后，你可以将其与Kettle的调度功能结合，定期自动执行批量下载任务。 10. **最佳实践**：在设计这样的工作流时，考虑性能优化，如并行下载、限制并发请求以避免对...
《使用kettle批量下载文件》示例代码
09-10
本示例代码着重讲解如何利用Kettle进行批量文件下载，这在大数据处理、数据仓库构建以及自动化任务执行等场景中非常常见。 首先，我们需要理解Kettle的工作流程。Kettle通过图形化的Job和Transformation设计界面，...
kettle定时调度监控方案选型策略
04-13
kettle定时调度监控方案选型策略 kettle定时调度监控方案选型策略
KETTLE实现循环批量多表抽取添加字段
03-11
在IT行业中，Kettle（Pentaho Data Integration，也称为Kettle或PDI）是一款强大的数据集成工具，它提供了一种图形化的界面来设计、执行和监控数据转换任务。本篇将详细介绍如何利用Kettle实现循环批量多表抽取并...
KETTLE监控程序（工作笔记）
congji1914的博客
02-03 300
在180.200.2.36的BI实例中，建立一个配置表Check_Data_Sqls。 将所有的需要监控的表的信息，保存在这个表中 编写kettle程序，保存一个JOB 绝对路径为 /home/lxd/check_d...
kettle etl调度配置与作业监控
weixin_47753395的博客
04-26 571
1.1、 创建ETL_JOB_INFO，作业名称 取数开始时间 取数结束时间 作业开始时间 作业结束时间 作业平均时长 耗时（秒） 状态1.2、从ETL_JOB_INFO中读取该作业，取数开始时间 取数结束时间 作业名称。
kettle调度监控平台（kettle-scheduler）开源
热门推荐
zhaxiaodong的博客
11-15 5万+
背景 Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用k...
kettle8调度监控平台（kettle-scheduler）开源
11-22 2267
背景 Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采...
kettle监控系统性能
eiffel_forever的博客
09-12 2818
这是官网对kettle监控系统性能介绍的链接： https://help.pentaho.com/Documentation/7.0/0P0/Monitoring_System_Performance/About_System_Performance_Monitoring                                                      为了方便多次查看...
给大家分享一款超轻量的kettle web端调度监控平台
Kjaenas的博客
07-31 495
Smart Kettle是一款基于开源Kettle自研的强大而创新的软件，它提供了Kettle核心接口调用基础组件，以及采用Springboot微服务后端架构和丰富的前端技术构建的监控平台。作为一款专注于大数据调度服务的解决方案，Smart Kettle旨在解决企业在数据抽取业务场景中常见的问题，特别是那些无法通过传统的web方式来配置、调度和监控Kettle的痛点，从而极大地简化企业应用的过程。此外，该平台还利用了丰富的前端技术，如Vue和iView等组件，为用户提供了直观友好的界面和良好的使用体验。
Kettle 3.0用户手册：入门与配置详解
本资源是《ETL工具Kettle用户手册(上)》,由深圳市神盾信息技术有限公司于2008年发布，共202页，详细介绍Kettle 3.0这款强大的数据集成工具。手册内容涵盖了Kettle的基础概念、安装与运行、核心功能模块以及高级操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值