Kettle Linux资源库使用

kettle版本8.2

• 1、配置好Java环境和环境变量

# 打开对应的配置的文件
vim /etc/profile

# JAVA
export JAVA_HOME=/data/jdk1.8.0_172
# 环境变量的设置
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

• 2、上传对应的kettle

需要上传对应文件为pdi-ce-8.2.0.0-342.zip、对应本地的.kettle以及mysql连接的jar包到对应用户的根目录下

# 如果没有对应命令 则运行yum install -y unzip后解压
unzip pdi-ce-8.2.0.0-342.zip
# 给kettle对应的mysql提供jar包
cp mysql-connector-java-5.1.46.jar ./data-integration/lib
# 将对应的解压后的包移动到对应路径下
mv ./data-integration /data/kettle/

• 3、将jar包放入对应解压的文件路径下

执行本地job和trans命令

cd /data/kettle/data-integration
./kitchen.sh -file=/data/kettle/job/test.kjb >> /data/kettle/logs/kettle_kjb.log
./pan.sh -file=/data/kettle/job/test.ktr >> /data/kettle/logs/kettle.log
# 注意：job中trans的路径要改为tans在linux中存放的位置

执行远程资源库中的job命令

# 对应命令如下，默认对应的账号密码都为admin和admin
./kitchen.sh -rep=资源库名称 -user=资源库用户名 -pass=资源库密码 -dir=资源库目录名称 -job=作业名称 -level=日志级别
# Demo
/data/kettle/data-integration/kitchen.sh -rep=ips_kettle_dis -user=admin -pass=admin -dir=/report/new_buy -job=new_buy_kjb -level=Basic >> /data/kettle/logs/new_buy_`date +%Y%m%d`.log

# 如果不知道都有哪些资源库的话，查找资源库的命令如下
./kitchen.sh -listrep
# 配置的资源库文件是存放在用户的 .kettle 文件夹下的 repositories.xml 文件里

可以设置定时任务去执行对应的shell命令

crontab -e

这样就可以实现对应协同开发
先在本地连接配置远程数据库[注意这里的配置会在对应的.kettle文件夹里有，如果这里更改要及时将最新的文件上传到服务器端]

登陆之后如下

对应MySQL的表如下所示

ps:

• 小插曲1=>jdk1.8 解压安装后出现错误：

-bash: /usr/local/jdk1.8/jdk1.8.0_181/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory

解决方法：

yum install glibc.i686 -y
## glibc是GNU发布的libc库，即c运行库。glibc是linux系统中最底层的api
## 几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外
## 它本身也提供了许多其它一些必要功能服务的实现
## 由于 glibc 囊括了几乎所有的 UNIX通行的标准，可以想见其内容包罗万象
## 而就像其他的 UNIX 系统一样，其内含的档案群分散于系统的树状目录结构中，像一个支架一般撑起整个操作系统
## 在 GNU/Linux 系统中，其C函式库发展史点出了GNU/Linux 演进的几个重要里程碑
## 用 glibc 作为系统的C函式库，是GNU/Linux演进的一个重要里程碑。
## 详细介绍：https://baike.baidu.com/item/glibc

• 小插曲2=>导入错的java_home路径导致的path失效

-bash:vi:command not found

解决办法：

#  这样可以保证命令行命令暂时可以使用，及时修正对应的Path[/etc/profile或～/.bash_profile]
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

kettle参考博客链接 https://blog.csdn.net/u011992073/article/details/93847796
小插曲1参考链接http://blog.sina.com.cn/s/blog_88e5d07f0102yga7.html

可能用到的文件百度云链接 https://pan.baidu.com/s/1vputRScVLZYWLzLIDIyHKg 密码 owds
如果百度云链接失效的话，可联系MyHarpers@163.com