Kettle Linux 安装部署

一.安装JDK环境:根据自己的linux系统选择相应的版本,比如我的centos7是x64的,所以我选择jdk-8u74-linux-x64.tar.gz下载
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功

二.将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh

编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)

ROOT_TOPDIR=/usr/local/kettle
export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)

保存!

可在ktlsh目录下直接执行./xxx.sh 文件运行
三. 可以直接启动./spoon.sh 进行可视化设置,测试数据库,Hadoop连接
/root/.kettle/kettle.properties 进行环境变量赋值

四.任务调度
vim /etc/crontab
0 0 * * * root sh /myhome/usr/kettle/ktlsh/jdt_custom.sh >> /myhome/usr/kettle/ktllog/jdtcustomlog
Kettle是一款用于数据集成和转换的开源工具,可以在Linux系统上进行安装部署。以下是KettleLinux上的安装部署步骤: 1. 下载Kettle软件包并解压缩到指定目录。你可以从官方网站下载最新版本的Kettle软件包。 2. 配置环境变量。在Linux系统中,你需要设置KETTLE环境变量,指向Kettle软件包的安装路径。可以通过编辑.bashrc文件或者.profile文件来设置环境变量。例如,将Kettle安装路径添加到PATH环境变量中: ``` export KETTLE=/path/to/kettle export PATH=${KETTLE}:$PATH ``` 保存文件并执行以下命令使环境变量生效: ``` source ~/.bashrc ``` 3. 验证Kettle安装。在命令行中执行以下命令来验证Kettle是否正确安装: ``` ./pan.sh -version ./kitchen.sh -version ``` 如果你能够看到类似以下输出,表示Kettle已经正确安装: ``` 2019/10/09 08:49:09 - Pan - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date : 2018-11-14 10.30.55 2019/10/09 08:13:21 - Kitchen - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date : 2018-11-14 10.30.55 ``` 4. 使用Kettle执行作业或转换。你可以使用kitchen.sh命令执行作业,使用pan.sh命令执行转换。通过指定作业或转换的文件路径和参数,你可以在命令行中执行Kettle作业或转换。例如: ``` kitchen.sh -file job_transform.kjb -level Basic -param:input=/path/to/input_file -param:output=/path/to/output_directory pan.sh -file transform.ktr -level Basic -param:input=/path/to/input_file -param:output=/path/to/output_directory ``` 这些命令将根据指定的作业或转换文件以及参数执行相应的操作。 请注意,以上步骤仅适用于KettleLinux系统上的安装部署。具体的安装部署过程可能因系统版本和Kettle版本而有所不同。建议在安装部署之前参考Kettle的官方文档和指南,以确保正确配置和使用Kettle。 #### 引用[.reference_title] - *1* *2* *3* [如何在Linux部署Kettle?你不想知道吗?](https://blog.csdn.net/weixin_43563705/article/details/109236014)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值