pentaho-kettle-5.0.1 java调度_Pentaho BIServer Community Edtion 6.1 使用教程 第三篇 发布和调度Kettle(Data Integrat...

本文介绍了如何在Pentaho BIServer Community Edition 6.1中运行和调度Kettle ETL脚本。首先在本地开发并测试Kettle脚本,然后详细阐述了如何将这些脚本发布到BIServer的资源库,包括导出脚本、创建匹配的目录结构和上传文件。最后,展示了如何在BIServer上运行和调度这些脚本。
摘要由CSDN通过智能技术生成

Pentaho BIServer Community Edtion 6.1 集成了 Kettle 组件,可以运行Kettle 程序脚本。但由于Kettle没有直接发布到 BIServer-ce 服务的程序,所以,在本地(Windows环境)通过图形化界面开发完成的ETL 脚本 (.ktr & .kjb) ,需要上传到BIServer-ce 管理的资源库,才能被BIServer-ce 运行和调度。

重点:Kettle 资源库 与 BIServer-ce 资源库 建立一致的目录管理ETL脚本文件。

第一部分 Kettle 脚本开发

1 创建资源库,并登录

此处使用MySQL 资源库方式。

a8f74b87ea2ace07edd51c188e248327.png

2 新建MySQL库同步Job

基本逻辑:读取源数据库所有表明,保存在结果集中,对结果集的每一行数据即每一个表名,执行同步任务。其中同步任务是指清空目标数据库指定表,将源表数据输出到目标表。

整个MySQL库同步作业包括五个文件。均存储在资源库的 /home/spads/ 目录下,两个Job :

job_all_table_extract.kjb 、job_single_table_extract.kjb

三个trans:

trans_acquire_tableNames.ktr、trans_Single_TableName_Set.ktr、trans_Single_Table_extract.ktr

001cfcbb2c6187d874ecac753b317114.png

3 本地测试程序是否可以运行

执行 job_all_table_extract.kjb ,验证程序是否成功执行。

可选择线上测试运行,根据需要选择。

第二部分 发布Kettle脚本到 BiServer-ce

BIServer-ce 使用资源库管理程序文件,登录http://IP:8080/pentaho后,可以点击 Browse Files 浏览程序文件。

由于 Kettle 资源库和 BIServer-ce 资源库表结构无关,所以不能直接通过数据库发布Kettle 脚本。需要在Kettle 中导出*.ktr 和 *.kjb 文件,通过资源管理页面,上传到BIServer-ce 的资源库。

此处需注意,Kettle 资源库中5个脚本文件存在目录引用关系,所以需要在BIServer-ce 资源库中建立对应的文件目录,并将到处的脚本文件发布到指定的目录,脚本文件才可以运行成功。

1 导出kettle 脚本

注意文件名

310683b530953284a022cefd4f48532b.png

2 在BIServer资源库中建立与Kettle 资源库一致的文件目录

Kettle 脚本在Kettle资源库中的存储路径为 /home/spads,BIServer-ce 资源库的默认根目录为/home 因此在/home目录下新建目录 spads

63250373f486a314243fa9446dcb0668.png

3 上传kettle 脚本到对应的文件目录

56e5a41c60ed3703dc0b27150be25c58.png

第三部分 运行、调度Kettle 脚本

在资源浏览中选择JOB,可以选择右边的动作 Run in background 执行,并可以通过open 查看执行日志。 也可以选择Schedule 进行调度处理。

46a1be18f538d3c3eda4191992432aaa.png

原文:http://www.cnblogs.com/driftingshine/p/6074589.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值