Linux下执行kettle的ktr脚本转换命令执行

最新推荐文章于 2024-06-26 00:57:27 发布
最新推荐文章于 2024-06-26 00:57:27 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： Linux学习 ETL Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tandelin/article/details/107318848
版权
Linux学习 同时被 3 个专栏收录
60 篇文章 1 订阅
订阅专栏
ETL
6 篇文章 0 订阅
订阅专栏
Kettle
4 篇文章 0 订阅
订阅专栏

配置java的jdk环境

部署解压

unzip pdi-ce-8.3.0.0-371.zip

命令介绍

是否含有pan.sh 或 kitchen.sh 文件

Kitchen——作业执行器 ,是一个作业执行引擎，用来执行作业。

Pan——转换执行器 是一个转换执行引擎，用来执行转换。

Linux的kettle安装

sh /data-integration的安装路径/pan.sh -norep -file=/你的ktr的存放路径/mytest.ktr

sh /kettledata/data-integration/pan.sh -norep -file=/kettledata/ktr/test.ktr

sh /kettledata/data-integration/pan.sh -norep -file=/kettledata/ktr/生产调度日报表.ktr

dltan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux调用kettle所用到的自动化脚本 kettle_linux.sh
06-12
kettle在linux状态下调用的脚本文件，自动化，一键运行，便于实施。
Linux下定时执行Kettle任务
雨后是冰雹
12-10 3005
Linux下定时执行Kettle任务一、环境二、步骤三、配置定时任务四、验证五、可能遇到的问题 一、环境 linux系统 Java jdk环境 二、步骤 解压kettle zip包，执行命令 unzip kettle.zip 进入解压目录下，执行chmod -x *.sh 赋予 . sh文件以执行权限 创建kettle任务转换文件(一般在windows上创建完成后上传到linux服务器，以 .ktr 结尾)，测试转换，确保能正确执行（以下以 linux_kettle_timer_test.ktr 为例
KETTLE 通过脚本执行ktr转换的两种方式
最新发布
qq_34796062的博客
06-26 304
2.如果部署有carte服务，可通过以下脚本执行ktr转换。优点：运行脚本时无需准备jvm环境，立即执行转换，速度快。1.批处理脚本中通过pan.bat执行ktr。缺点：每次执行时需启动jvm环境，耗时。优点：仅需以上脚本即可执行转换，方便。缺点：需事先部署好carte服务。
kettle脚本Linux执行,kettle在linux下面用于shell脚本执行：转换或者作业
weixin_29927965的博客
05-03 2731
1 将windows下面创建好的转换，放到Linux某一个文件夹下面。如：把0816_em.ktr文件放到/home/cfj/kettle/testdemo下面。注意里面的数据库用户名和密码可能需要改，如果是job文件如：job0816_01.kjb。记得把里面存的路径改了，如下图：2 编辑脚本文件，放入到对应文件夹中，并赋予权限赋予权限方法如下：chmod +x ./test.sh #使脚本具有...
kettle实例-数据的批量加载
fxxhmn的博客
10-19 1139
勾选“使用批量插入”的复选框，用于批量加载数据至目标表中，如图所示。依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，具体如图所示。单击转换工作区顶部的 按钮，运行创建的转换batch_load，实现将CSV文件weibo_user.csv中的数据批量加载到数据表weibo_user中，“表输出”界面最终显示的效果如图所示。
kettle在linux下面用于shell脚本执行：转换或者作业
weixin_33884611的博客
08-17 3855
1 将windows下面创建好的转换，放到Linux某一个文件夹下面。如：把0816_em.ktr文件放到/home/cfj/kettle/testdemo下面。 注意里面的数据库用户名和密码可能需要改，如果是job文件如：job0816_01.kjb。记得把里面存的路径改了，如下图： 2 编辑脚本文件，放入到对应文件夹中，并赋予权限 赋予权限方法如下： chmod +x ./test...
Linux和Windows部署使用kettle
qq_33445829的博客
03-20 565
linux kettle
Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法
qq_35907918的博客
01-11 2249
转载地址： https://blog.csdn.net/zuolovefu/article/details/78083445 1. 准备工作 一个简单的job，一个简单的trans。 trans：读取download目录下的所有文件名，输出为文件。【界面情况下测试成功】成功生成目标文件：job：创建文件。【界面模式测试执行成功】执行结果：把界面执行测试结果文件删除...
Kettle 导入文件夹下的多个文件
爱米粒的博客
03-20 5064
收到的需求是这样的：在一个文件夹下有几百个文本文件，每个文件内容的格式相同，都是有固定分隔符的两列，每个文件有几千行记录。 Kettle的转换处理数据流，其中有一个“文本文件输入”的输入对象，可以使用它在导入文件数据时添加上文件名字段，而且支持正则表达式同时获取多个文件名，正好适用此场景。下面为实现步骤。 1. 新建一个转换，包含“获取文件名”、“拆分字段2”、“拆分字段”、“表输出”四个步骤...
linux部署 kettle （超详细）
11-13
本文详细介绍了在Linux环境下部署Kettle的整个过程，包括前期准备、软件安装、脚本创建、Cron任务配置及结果验证。通过遵循以上步骤，可以实现在Linux服务器上自动化执行Kettle Job，进行数据的增量导入导出，有效...
kettle 数据挖掘，组合转换 在windows和linux 使用，不同数据库之间数据同步
12-25
- 启动Kettle的可视化界面后，可以从"文件"菜单中选择"打开"来加载转换文件，如示例中的`basedata.ktr`。 - 在进行数据同步时，可能需要配置不同的数据库源，包括修改IP地址、账户信息等。 - 运行转换器时，点击...
kettle 命令行运行作业（kitchen）和转换（pan）以及一路下来编写的例子
08-12
2. pan：则是命令行转换执行器，用于运行.ktr格式的转换文件。转换专注于数据的清洗、转换和加载，是ETL流程中的核心部分。 使用命令行运行kettle作业和转换的基本语法如下： - kitchen运行作业： ``` kitchen.sh ...
Kettle简单参数化配置连接数据库
04-19
在Unix/Linux环境下，我们可以使用Shell脚本来自动化Kettle作业的执行： 1. **创建Shell脚本**：编写一个名为“sh执行kettle文件.sh”的脚本，内容如下： ``` #!/bin/bash kitchen.sh -param:DB_URL=$1 -param:...
Kettle批量运行转换
weixin_41300587的博客
04-14 1321
最近遇到一个问题，用Kettle做数据同步时，发现制作出来的转换太多，大约有几千个 如果一个个去运行或者把转换添加到作业中，这个工作量手都会断，后面突发想像，想着用批处理脚本去代替这个断手的工作，当然在Linux中大家也可以使用Shell脚本或者其它的方法。 批处理文件 @echo off set KETDir=D:\data-integration\转换存放的目录\ for /R %KETDir% %%s in (*) do ( D:\data-integration\Pan.bat /fil
kettle在linux上的运行方法
热门推荐
weixin_42326851的博客
11-12 1万+
kettle在linux上的运行方法(Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法)
Linux 环境下运行kettle 报错
sinat_39619040的博客
05-24 1495
看日志信息，应该是跟Jar 包有关系，心想自己也是参考安装文档上安装的，将JDBC jar 都解压并放进了 kettle 目录下的data-integration\lib 文件夹下，网上找了好一通，没有找到解决方案。后来发现可能是Jar 包冲突了，就开始逐一删除data-integration\lib 文件下自己新增的Jar 包，发现删除。Wins 环境下运行正常，将同一份转换文件上传至Linux 运行报错。2、Wins 环境下cmd 命令行运行正常。3、Linux 环境下运行报错。
kettle-linux环境下部署kettle，执行kitchen.sh文件报错后安装 libwebkitgtk，提示没有可用软件包libwebkitgtk。
11-21 2196
提示：本环境为centos7.2mini.建议在纯净环境上部署，不然会提示某些依赖包已安装过或者版本过高的问题。 需要的包已经整理出来了 执行./kitchen.sh 报错信息： [root@lx01 data-integration]# ./kitchen.sh #############################################################...
kettle-linux环境下部署kettle，执行kitchen.sh文件报错，no libwebkitgtk-1.0 detected
yinxiaoyi的专栏
07-29 2126
linux环境部署kettle，执行./kitchen.sh出现错误信息 ####################################################################### WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable Consider installing the package with apt-get or yum. e.g. 'sudo ...
Linux环境下Kettle 7.1部署与使用教程
- 执行数据转换：可以保存设计好的数据转换为.ktr文件，然后在命令行或通过Kettle Server执行这个转换。 - 监控与调度：Kettle的Pan工具用于执行单个数据转换，Kitchen工具则支持计划和调度转换的执行，可以设置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值