kettle在linux上的运行方法


一、kettle安装部署

Kettle安装部署

二、配置kettle任务

1、本机打开kettle :

建立数据库连接, 填写需要连接的数据库地址、端口、账号还有密码,点击测试连接,成功如下图:
链接数据库成功

2.配置转换任务 :

在表输入和表输出中配置基本信息:
转换

3.配置作业 :

在转换过程中添加刚才的任务,transformation中如果是绝对路径,替换成如下地址>(${Internal.Entry.Current.Directory},转换和作业放在同一目录下)
创建作业

4.本地测试 :

抽取数据是否成功,成功后将保存的转换和作业放在linux服务器上

5.linux中执行作业(kjb)的命令

kitchen.sh -file=/data/kettle/data-integration/test.kjb

linux中执行转换(ktr)的命令

/pan.sh -file=/usr/local/kettle/bjyd/t_sdrs_xsjbxx.ktr -norep
命令描述
-filejob或trans文件路径
-norep标明不是资源库里的文件
-param参数设置
-logfilelog输出文件名
-levellog级别 (Basic, Detailed, Debug, Rowlevel, Error, Nothing)

6.定时任务编辑shell脚本编辑

#!/bin/sh
JAVA_HOME=/data/jdk1.8.0_281
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
#createDate=`date +"%Y%m%d%H%M%S"`
createDate=`date +"%Y%m%d"`
cd /data/data-integration;./kitchen.sh -file=/data/kettle-sh-day/wlhy/kjb/prod/wlhy-job-driver.kjb >> /data/kettle-sh-day/wlhy/logs/$createDate-wlhy-job-driver.log &

7.设置定时

crontab -e
每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh


总结

如果此篇文章有帮助到您, 希望打大佬们能关注点赞收藏评论支持一波,非常感谢大家!
如果有不对的地方请指正!!!

参考1
参考2

  • 3
    点赞
  • 42
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
### 回答1: 要在Linux运行Kettle作业,需要先安装Kettle软件,并确保Java环境已经正确安装。然后,可以使用命令行或者脚本来运行Kettle作业。具体步骤如下: 1. 打开终端,进入Kettle软件的安装目录。 2. 输入命令“./kitchen.sh -file=/path/to/job.kjb”,其中“/path/to/job.kjb”是你要运行Kettle作业的路径。 3. 等待作业运行完成,可以在终端上看到作业的运行日志和结果。 注意:在Linux运行Kettle作业时,需要确保Kettle软件和作业文件的权限设置正确,否则可能会出现运行失败的情况。 ### 回答2: Kettle是一款开源的ETL工具,可以通过其图形化界面快速地完成数据抽取、转换、加载等数据处理工作。在Linux操作系统下,我们可以使用Kettle运行job,下面就简单介绍一下在Linux运行Kettle job的步骤: 1. 安装Kettle:我们可以从Kettle的官方网站上下载KettleLinux版本,然后解压到指定的目录下即可。 2. 创建Kettle job:使用Kettle的图形化界面,创建一个job,并将其保存为文件形式。在Linux下,我们可以使用命令行工具来创建job,具体命令如下: sh /opt/data-integration/kitchen.sh \ /file:/opt/Kettle/jobs/myjob.kjb \ -level=Basic 其中,/opt/data-integration/kitchen.sh是Kettle的启动脚本,/file:/opt/Kettle/jobs/myjob.kjb是job文件的路径。 3. 执行Kettle job:在Linux下,我们可以使用命令行工具来执行Kettle job,具体命令如下: sh /opt/data-integration/kitchen.sh \ /file:/opt/Kettle/jobs/myjob.kjb \ -param:PARAM1=Value1 -param:PARAM2=Value2 \ -level=Basic 其中,-param可以传递参数给job,-level指定日志级别。 4. 监控Kettle job:Kettle提供了日志输出功能,我们可以在Linux上查看job的日志信息,通过日志信息来监控job的执行情况和发现潜在问题。 总之,在Linux运行Kettle job需要先安装Kettle,并使用Kettle的命令行工具来执行和监控job,同时保证Kettle日志输出正常。这样,我们就可以在Linux上方便地完成ETL数据处理工作。 ### 回答3: Kettle是一款跨平台的ETL工具,既可以在Windows下运行,也可以在Linux运行。在Linux运行Kettle的job需要以下几个步骤: 1. 下载和安装Kettle 首先需要在Linux下下载和安装Kettle。可以从官网下载Kettle的最新版本,然后按照官方文档的说明进行安装。 2. 编写Job 在Kettle中创建一个Job,然后按照需要将各个步骤连接起来。Job中的各个步骤可以是输入、输出、转换等等。在每个步骤中都可以设置相应的参数和选项。 3. 配置运行环境 在Linux运行Kettle需要先配置相关环境变量。比如设置Kettle的安装目录、Java的路径等。还需要在系统中配置好JRE或JDK供Kettle使用。 4. 运行Job 在命令行中运行Kettle的命令,将Job的文件路径作为参数传入,即可运行Job。在运行过程中可以查看Job的日志,以便及时发现和解决问题。 总结 以上就是在Linux运行Kettle的基本步骤。需要注意的是,在Linux运行Kettle需要一定的Linux基础知识,对于不熟悉Linux的用户来说可能会比较困难。但是随着Linux的普及,相信用户们会越来越熟悉Linux环境,也会更加容易地运行Kettle的Job。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lfwh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值