kettle etl调度配置与作业监控

已于 2024-04-26 15:40:32 修改
阅读量418 收藏 1
点赞数 10
分类专栏： 记录 文章标签： etl
于 2024-04-26 11:36:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47753395/article/details/138213512
版权

kettle使用不做介绍，本文旨在记录etl调度参数配置与作业状态监控

流程说明

1、设置变量：

     1.1、 创建<etl作业配置表>ETL_JOB_INFO，作业名称     取数开始时间    取数结束时间    作业开始时间    作业结束时间    作业平均时长    耗时（秒）    状态

     1.2、从ETL_JOB_INFO中读取该作业，取数开始时间    取数结束时间  作业名称

2、start_job:

       从上一步中取 作业名称，作为参数传入 proc_start_job。在etl作业调度记录表中插入本次调度的信息与开始时间

create or replace procedure proc_start_job(p_job varchar2)
is
begin
  --插入历史表
insert into etl_job_record(bu_name,job_name,start_date,end_date,job_start_date,status,cn_Name)
select bu_name,job_name,start_date,end_date,sysdate,'1',cn_name from etl_job_record where job_name=p_job;

commit;
EXCEPTION
   WHEN OTHERS THEN
     DBMS_OUTPUT.PUT_LINE(SQLCODE||'-'||SQLERRM);
end;

3、end_job:

     3.1、在业务数据处理完成之后，更新etl作业调度记录表的结束时间、耗时与状态。

     3.2、根据ETL_JOB_INFO中配置的偏移度，设置下一次作业的取数时间参数

create or replace procedure proc_end_job(p_job varchar2) is
       V_FREQ ETL_JOB_INFO.freq%type;
       V_OFFSET ETL_JOB_INFO.offset%type;
begin
  --计入作业历史表
  update etl_job_record m
     set job_finis_date = sysdate,
         elapsed_time   = ROUND(TO_NUMBER(sysdate - job_start_date) * 24 * 60 * 60),
         status         = '0' --0完成,未完成
   where job_name = p_job
     and m.job_start_date =
         (select max(job_start_date)
            from etl_job_cycle_history z
           where m.job_name = z.job_name);
  
  SELECT T.FREQ,T.OFFSET
    INTO  V_FREQ,V_OFFSET
  FROM ETL_JOB_INFO t
  WHERE job_name = p_job;

  DBMS_OUTPUT.PUT_LINE('作业:'||p_job||',频度:'|| V_FREQ ||',偏移: '||V_OFFSET );


  if  V_FREQ='D' THEN   --日频度
     --作业结束，准备好下一次的取数时间 起始日期为当月1日 涉及补单
      IF V_OFFSET=0 THEN
          update ETL_JOB_INFO
             set start_date = to_date(to_char(trunc(sysdate, 'mm'),'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
                 ,end_date   = to_date(to_char(sysdate + 1,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           where job_name = p_job
             --and freq='D'
             ;
             
      ELSIF V_OFFSET=2 and to_char(sysdate,'dd') < 15 THEN
          update ETL_JOB_INFO
             set start_date = to_date(TO_CHAR(LAST_DAY(ADD_MONTHS(SYSDATE, -2)) + 1,'YYYY-MM-DD') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
                 ,end_date   = to_date(to_char(sysdate,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           where job_name = p_job
             
             ;
      
       ELSIF V_OFFSET=2 and to_char(sysdate,'dd') >= 15 THEN
          update ETL_JOB_INFO
             set start_date = to_date(TO_CHAR(LAST_DAY(ADD_MONTHS(SYSDATE, -1)) + 1,'YYYY-MM-DD') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
                 ,end_date   = to_date(to_char(sysdate,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           where job_name = p_job
             
             ;
      --一天之内重复跑问题，当12点为最后一次跑，判断一下，不超过12点则设开始结束日期为昨天和今天
      ELSIF V_OFFSET=3 and to_char(sysdate,'hh24') < 23 THEN
          update ETL_JOB_INFO
          set start_date = to_date(to_char(sysdate-1,'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
             ,end_date   = to_date(to_char(sysdate,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
          where job_name = p_job
             
             ;
      ELSE
         --起始日起+1
          update ETL_JOB_INFO
          set start_date = to_date(to_char(sysdate,'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
             ,end_date   = to_date(to_char(sysdate+1,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
          where job_name = p_job
            --and freq='D'
            ;

      END IF;

    elsif  V_FREQ='W' THEN  --周频度

        IF V_OFFSET=0 THEN  --都是1日开始
           update ETL_JOB_INFO
           set start_date =to_date(to_char(trunc(sysdate,'mm'),'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')  --月上初1日到当月1日
              ,end_date  = to_date(to_char(next_day(sysdate,to_char(end_date,'day')),'yyyy-mm-dd') || to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')--如果直接+7，隔天重跑就会有问题
           where job_name = p_job
          --and freq='W'
            ;

        ELSIF V_OFFSET=2 THEN
          update ETL_JOB_INFO--从本周一到本周日
             set start_date = to_date(TO_CHAR(trunc(sysdate,'iw'),'YYYY-MM-DD') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
                 ,end_date   = to_date(to_char(trunc(sysdate,'iw')+6,'yyyy-mm-dd') || to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           where job_name = p_job;

        ELSE

           update ETL_JOB_INFO--从上周到本周
           set start_date = to_date(to_char(next_day(sysdate, to_char(end_date,'day'))-7,'yyyy-mm-dd')|| to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
               ,end_date  = to_date(to_char(next_day(sysdate,to_char(end_date,'day')),'yyyy-mm-dd') || to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')--如果直接+7，隔天重跑就会有问题
           where job_name = p_job
            --and freq='W'
           ;
      end if;

    elsif  V_FREQ='M' THEN     --月频度，从月初-1日
       update ETL_JOB_INFO
       set start_date = to_date(to_char(trunc(sysdate,'mm'),'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')  --月上初1日到当月1日
           ,end_date  = to_date(to_char(last_day(trunc(sysdate))+1 ,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
        where job_name = p_job
          --and freq='M'
        ;

      --least(last_day(trunc(sysdate))+1,next_day(sysdate, 'Friday'))+ 8 / 24
   elsif V_FREQ='S' THEN     --白晚班
       update ETL_JOB_INFO
       set start_date = start_date+1/2
           ,end_date  = end_date+1/2
        where job_name = p_job
    ;
    
   elsif V_FREQ='T' THEN     --白晚班
      update ETL_JOB_INFO
      set start_date = to_date(to_char(TRUNC(SYSDATE-8.5/24),'yyyy-mm-dd')|| to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           ,end_date= to_date(to_char(TRUNC(SYSDATE-8.5/24)+1,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
        where job_name = p_job
    ;  
   elsif  V_FREQ='Q' THEN     --季频度，
       update etl_job_cycle
       set start_date = add_months(start_date,3)
           ,end_date  = add_months(end_date,3)
        where job_name = p_job
          --and freq='M'
   ;
         
  else   --默认日平频度，自增1天
      update ETL_JOB_INFO
        set start_date = to_date(to_char(sysdate,'yyyy-mm-dd') || to_char(start_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
           ,end_date   = to_date(to_char(sysdate+1,'yyyy-mm-dd')|| to_char(end_date,'hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')
        where job_name = p_job
          --and freq='D'
      ;

  end if;

  commit;

EXCEPTION
  WHEN OTHERS THEN
    DBMS_OUTPUT.PUT_LINE(SQLCODE || '-' || SQLERRM);
end;

暴躁老哥KK
关注
  • 10
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle定时调度监控方案选型策略
04-13
kettle定时调度监控方案选型策略 kettle定时调度监控方案选型策略
KETTLE执行监控（二）：批量配置方式
buddx的博客
06-10 978
ETL,KETTLE,KETTLE监控,KETTLE日志
kettle-scheduler:一款简单易用的Kettle调度监控平台，专门用来调度和监控由kettle客户端创建的job和transformation。整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作
05-10
kettle-scheduler 背景 Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库。 项目介绍 Kettle调度监控平台（以下简称KS）是一个自主开发的javaweb程序，专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。 此版本基于
设置变量-处理年月日
kiritobryant的博客
10-26 810
在Kettle中，读者可通过获得系统信息组件获得系统环境变量，也可以通过设置变量，定义虚拟机和任务中的变量。在项目中，经常利用生产环境或外围系统交互的FTP文件接口，获取固定格式的数据文件。某生产系统每天定时推送名称格式包含yyyyMMdd的数据文件，为了获得日期变量并每天读取由生产系统推送的前两天的数据文件，需要使用设置变量组件，设置名称为fileDate的变量，该变量值需要符合yyyyMMdd格式，取值为当前系统日期的前两天。
Kettle变量和参数介绍系列文章1-变量的使用
m0_69586799的博客
07-31 1万+
本文主要讲述Kettle中变量的分类，并针对每一类变量的使用进行说明。
kettle获取系统时间，设置变量，获取变量
一枚专心做大数据研发的摆烂程序员
07-29 6005
在kettle中通过正则表达式解析系统时间
kettle开发篇-作业调度-Day8
qq_29061315的博客
12-06 2374
前言： 前面我们介绍了kettle的一些常用组件，同步方法，缓存机制及怎么去处理kettle出现的小问题。今天我们讲两种kettle中常用的作业调度方法，kettle作为一款ETL工具负责将数据从ODS层处理至DWD层，主要负责数据的清洗、转换工作。kettle其实只有2个功能组合即转换和作业，转换负责组件间的协调配合，作业负责任务的执行，但是我们怎么能让kettle自动将任务跑起来，自己完成数...
Kettle根据参数循环调度
04-03
7. **定时调度**：为了实现每天执行，你需要将这个作业配置在Kettle的Scheduler（或操作系统级的任务调度器如Cron）中，按照设定的时间间隔（如每天0点）启动。 通过以上步骤，"总调度-监控数据量"作业就能根据参数...
ETL数据整合与处理（Kettle）教案.rar
07-05
六、Kettle监控与调度 为了实现ETL的自动化，Kettle提供了Job调度功能，可以设定定时任务，自动执行数据抽取、转换和加载。同时，Kettle的监控界面可以实时展示作业和转换的运行状态，帮助用户及时发现和解决问题。 ...
Kettle调度和监控
xuela-net
07-06 1208
Kettle调度和监控的理论知识介绍，具体内容如下： 1 调度 在这个指导文档中，主介绍两种类型Kettle任务和转换的调度方式。 Ø 操作系统级别的调度器：对于ETL来说，调度不是独一无二的。这是操作系统能够提供标准调度的一般性需要，如UNIX衍生系统上的Cron以及Windows系统上的任务调度器。这些调度器能够拥戴调度Kettle命令行程序来运行任务和转换。 Ø Qu...
kettle调度监控平台（kettle-scheduler）开源
热门推荐
zhaxiaodong的博客
11-15 5万+
背景 Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用k...
kettle案例-设置变量
wt_125的博客
11-23 1489
数据清洗
Kettle任务调度和监控通知
qq_38797366的博客
10-22 8685
Kettle任务调度和监控通知 环境描述： 现在一个项目有很多个job，需要知道哪些ktr或者kjb成功，哪些失败了。 Kettle本身自带集群监控工具，但是必须是集群的条件下。详情参考http://www.mamicode.com/info-detail-1980342.html。 现在我们要自定义监控任务调度的情况，将job和ktr的运行情况保存在数据库中。 问题解决： 第一步：数据库环境建立...
KETTLE执行监控（三）：发出报警和查看日志
buddx的博客
06-10 3005
ETL,KETTLE,KETTLE监控,KETTLE日志
给大家分享一款超轻量的kettle web端调度监控平台
Kjaenas的博客
07-31 454
Smart Kettle是一款基于开源Kettle自研的强大而创新的软件，它提供了Kettle核心接口调用基础组件，以及采用Springboot微服务后端架构和丰富的前端技术构建的监控平台。作为一款专注于大数据调度服务的解决方案，Smart Kettle旨在解决企业在数据抽取业务场景中常见的问题，特别是那些无法通过传统的web方式来配置、调度和监控Kettle的痛点，从而极大地简化企业应用的过程。此外，该平台还利用了丰富的前端技术，如Vue和iView等组件，为用户提供了直观友好的界面和良好的使用体验。
kettle的简单示例:实现数据定时推送和监测,并发送异常报告邮件
奋斗鱼
04-03 2761
当出现不符合要求的异常数据时，能尽早提醒管理员及时处理。创建了转换后，就需要创建作业，作业的目的是可以配置定时计划，组合多个已建好的“转换”，形成工作流，并自动执行。控件1，“脚本”-》“执行SQL脚本”控件，命名“清空用户表数据”，意为将要推送的目标表原数据先清空。控件3，“输出”-》“插入\更新”，命名“插入用户信息”，意为将查询的数据插入到目标表中。控件2，“输出”-》“表输出”，命名“推送用户信息”，意为从用户表查询数据。控件2，“通用”-》“转换”，命名“推送用户信息”，意为从用户表查询数据。
利用kettle实现网页访问状态监控以及登录验证
weixin_44570604的博客
12-28 2161
利用kettle实现网页访问状态监控以及登录验证 一、思路总结 1、在钉钉中创建自定义机器人。 2、在kettle利用相应组件进行网页监控与登录验证。 3、通过邮件和钉钉机器人发布结果。 二、具体实现 （一）钉钉创建机器人 在钉钉群设置中找到智能群助手，然后选择添加机器人。 选择自定义（通过Webhook接入），安全设置选择加签，添加完之后可以查看到机器人的基本信息（其中的Webhook和密钥需要提取出来并保存后续步骤会用到）。 （二）利用kettle进行网页访问、登录验证并通过钉钉机器人反馈结果 1
kettle 任务调度配置
最新发布
04-20
Kettle是一款开源的ETL工具，用于数据抽取、转换和加载。在Kettle中，任务调度配置是指设置和管理ETL任务的执行时间和频率。以下是Kettle任务调度配置的介绍： 1. 定时触发器：Kettle提供了多种定时触发器，如简单触发器、Cron触发器等。通过设置触发器的参数，可以指定任务的执行时间和频率。 2. 任务依赖关系：在Kettle中，可以设置任务之间的依赖关系。这意味着某个任务只有在其他任务成功执行后才会被触发执行。 3. 并行执行：Kettle支持并行执行多个任务。可以将多个任务配置为同时执行，以提高任务的执行效率。 4. 错误处理：Kettle提供了多种错误处理机制，如重试、跳过、终止等。可以根据任务的需求设置相应的错误处理策略。 5. 监控和报警：Kettle可以监控任务的执行状态，并在任务执行失败或达到某个条件时发送报警通知。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值