关于kettle使用参数问题记录

传参的问题:


参数问题

举例: a.kjb 里面调用了a.ktr 
     若a.kjb和a.ktr 的转换属性命名参数中都有参数 file_name
#### 若在windows下运行kettle (通过spoon)
   a.ktr的file_name变量最终取值是与组件有关系,有的会取到a.kjb的变量值,有的会取到a.ktr的值
   若ktr没有定义此参数,则取kjb的参数
   
#### 若在linux环境下运行:(/home/kettle/kettle7.1/kitchen.sh的形式)
     如果命令后加参数 -param:job_date=$currenttime -param:file_name=a.txt则kjb和ktr会用此值
     若不加参数,则ktr取得是自己的参数值,不会取到kjb的参数
              若ktr没定义此参数,则取kjb的参数


#### kitchen.sh 多个参数 要使用多个-param来传递
传参的参数:1. 必须要在作业属性->命名参数中定义,否则会接收不到
          2. 此参数无法覆盖系统环境变量

如果使用carte服务,则系统变量kettle.properties发生变化时,需要重启carte服务,否则不生效,不过用kitchen.sh的形式是生效的

关于carte一些简单命令记录:

启动:nohup ./carte.sh pwd/carte-config-master-18080.xml  >  cartetest.log 2>&1 &

停止: http://ip:18080/kettle/stopCarte/

浏览页面:默认账密 cluster/cluster  http://ip:18080/kettle/status

调用kjb:  http://ip:port/kettle/executeJob/job=xxx.kjb&job_date=20240101&processId=test000078
 

几个重要的参数: 

注意:相关数据以及日志都是存于内存中的,所以要控制内存的大小,否则会报内存溢出

1. KETTLE_MAX_LOG_SIZE_IN_LINES=200   日志行数 :经过实验 超过的行数在carte里面会丢弃掉,比如上图中有四个任务,但日志量超过200行的会丢弃

2. KETTLE_MAX_LOG_TIMEOUT_IN_MINUTES=5  日志保留的时间:过了5分钟之后,kjb的作业还在,但是里面的日志全部消失了

 3. KETTLE_CARTE_OBJECT_TIMEOUT_MINUTES=10 : 作业保留的时长,超过10分钟的作业就消失了

使用carte的jvm内存调整:

如下图所示:在使用kitchen.sh及carte跑任务的时候,jvm启动的内存是在spoon.sh(linux环境下)控制的,所以要结合自己的作业任务,调整jvm内存大小。

可以直接在spoon.sh更改也可以添加环境变量PENTAHO_DI_JAVA_OPTIONS (我是在kettle用户下改的环境变量文件 ~/.bash_profile或者~/.bash_rc,不过没生效)

以下更改没生效,我又注释掉了

  • 6
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kettle中的"排序记录"步骤主要用于对字段进行排序。一般情况下,它会与"去除重复记录"和"记录集连接"步骤一起使用。在配置参数中,你需要选择要排序的字段以及排序的方式(升序或降序)。接下来,将结果数据与原始数据进行对比,你会发现无序数据已经按照你选择的排序方式进行了排序。 另外,Kettle中的"记录集连接"步骤可以用于实现数据集合的关联,包括内连接、左连接、右连接和外连接等。在这里,我们以用户回答为主表,并选择左连接。连接字段是用来判断哪个字段在两个集合之间相等时将记录合并在一起。在这个例子中,连接字段是回答集合的optionId和选项集合的id。 希望这可以帮助你理解Kettle中的"排序记录"和"记录集连接"步骤的使用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Kettle中“排序记录”的使用](https://blog.csdn.net/AnameJL/article/details/119713337)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [kettle案例六数据表关联--排序记录-记录集连接-过滤记录](https://blog.csdn.net/q383965374/article/details/78962029)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [kettle转换实践(一)-排序记录记录集连接,过滤记录](https://blog.csdn.net/kone0611/article/details/90575944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值