Linux部署Kettle

一、Kettle-Database-Repository数据库远程仓库配置

1.1 创建远程仓库

如果找不到connect按钮，可能是中文路径问题，可以打开${home.user}/.kettle 修复相关文件

 1.2 连接远程仓库

二、Kettle carte模式运行,支持远程执行脚本

# Kettle carte模式运行,支持远程执行脚本
cd /opt/pdi-ce-8.1.0.0-365/data-integration
./carte.sh 0.0.0.0 8080

#浏览器访问
http://IP:8080  用户密码均为 cluster

三、Kettle远程仓库执行 

# Kettle远程仓库执行
./pan.sh /rep:192.168.0.7 /user:admin /pass:admin /dir:/aqm_met_gssite /trans:ods_t14_cs_aqm
./kitchen.sh /rep:192.168.0.7 /user:admin /pass:admin /dir:/aqm_met_gssite /job:job_ods_t14_cs_aqm

# 清理缓存
rm -rf ${KETTLE_HOME}/data-integration/system/karaf/caches/{kitchen,pan,spoon}


# pan与kitchen通用参数说明
rep	    企业或数据库存储库名称
user	用户名
pass	密码
dir	    存储库目录
file	如果调用的是本地 KTR 文件，则为文件名，如果不在本地目录中，则包括路径
level	日志级别（基本、详细、调试、行级别、错误、无）
        (Basic, Detailed, Debug, Rowlevel, Error, Nothing)
logfile	将日志输出写入的本地文件名
listdir	列出指定存储库中的目录
listrep	列出可用的存储库
exprep	将所有存储库对象导出到一个 XML 文件
norep	防止 Pan（Kitchen）登录到存储库。
        如果您已经设置了 KETTLE_REPOSITORY、KETTLE_USER 和 KETTLE_PASSWORD 环境变量，
        那么这个选项将使您能够阻止 Pan（ Kitchen）登录到指定的存储库，
        假设您要执行本地 KTR 文件
version	显示版本、修订和构建日期
param	以name=value 格式设置命名参数 。例如： -param:FOO=bar
listparam	列出有关指定转换中定义的命名参数的信息
maxloglines	PDI 内部保留的最大日志行数。设置为 0 以保留所有行（默认）
maxlogtimeout	由 PDI 内部保留的日志行的最长期限（以分钟为单位）。
                设置为 0 以无限期地保留所有行（默认）

# pan独有参数说明
trans	    要启动的转换的名称
listtrans	列出指定存储库目录中的转换
safemode	在安全模式下运行，可以进行额外检查

# kitchen独有参数说明
job	    要启动的作业的名称（与存储库中显示的一样）
listjob	列出指定存储库目录中的作业

# kitchen运行状态码
0	工作顺利进行
1	处理过程中发生错误
2	加载或运行作业期间发生意外错误
7	无法从 XML 或存储库加载作业
8	加载步骤或插件时出错（主要是加载插件之一时出错）
9	命令行使用打印

四、GpLoad的安装配置运行

# GpLoad的安装配置运行
#CentOS79
yum install greenplum-db-clients-6.16.1-rhel7-x86_64.rpm -y

#Ubuntu2004
wget http://security.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.0.0_1.0.2g-1ubuntu4_amd64.deb && \
wget http://mirrors.ustc.edu.cn/debian/pool/main/libe/libevent/libevent-2.1-6_2.1.8-stable-4_amd64.deb && \
apt install -y ./libssl1.0.0_1.0.2g-1ubuntu4_amd64.deb && \
apt install -y ./libevent-2.1-6_2.1.8-stable-4_amd64.deb && \
apt install -y ./greenplum-db-clients-6.16.1-ubuntu18.04-amd64.deb

#配置
\cp -rf /usr/local/greenplum-db-clients/bin/ext/* /usr/local/greenplum-db-clients/bin/ && 
\cp -rf /usr/local/greenplum-db-clients/lib/* /usr/lib64/ && 
echo "
export GPHOME_CLIENTS=/usr/local/greenplum-db-clients
export GPHOME_LOADERS=/usr/local/greenplum-db-clients
export PATH=\${PATH}:\${GPHOME_CLIENTS}/bin
" >> /etc/profile && source /etc/profile

#测试
gpload -f aaaa.cfg