kettle小技巧(此条博客会一直累加更新)

于 2021-05-17 14:31:49 发布
阅读量215 收藏
点赞数
分类专栏： kettle 文章标签： kellte
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43461350/article/details/116932051
版权
  • kettle表输入组件中如何引用全局变量
    勾选Replace variables in script ?
    ${} 引用在这里插入图片描述
  • preView预览就发现有中文乱码问题,同步后当然也会有
    取消勾选这个懒惰转换
    在这里插入图片描述
狍子弟弟（兄弟盟资源网管理员）
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
史上最详细的kettle初步小应用（猪都看得懂哦！！！）
yangleicsd的博客
09-01 2361
kettle英文翻译为水壶，官方的解释为把数据倒进水壶里，然后再以一定的数据格式输出出来。  1.安装kettle：下载地址： http://community.pentaho.com/projects/data-integration/       下载完后解压缩 ，然后配置环境变量，变量名：pentaho_java_home ，变量值：jdk的安装路径 ，配置好后双击spoon.bat,
kettle的技巧
09-25 255
Kettle ETL工具集总称。pentaho公司收购了kettle项目，主要用于db数据处理，kettle中spoon是一个图形界面的名称，主要用于方便开发者开发程序。（主要开发转换和作业）转换用pan.sh/pan.bat来运行作业用kitchen.sh/kitchen.bat来运行。...
kettle实战-2基本知识-2.7技巧与原则
Kettle实战
06-24 679
　　开发kettle流程时由于kettle本身的灵活性，致使完成一件事情可能每人都有不同的设计，这些不同的设计虽然都能完成工作，但效率或可维护性都变得不同了。下面谈谈我开发kettle的一些技巧与原则： 　　1、 多写注释，步骤尽量改成有意义的名称（后期好维护） 　　2、 步骤尽可能的少，能二步解决的，决不三步（耗费线程） 　　3、 充分发挥数据库能力，一些数据间关联尽量在SQL...
开源ETL工具kettle系列之增量更新设计技巧
12-21
开源ETL工具kettle系列之增量更新设计技巧.doc
Kettle入门教程（详细介绍控件使用方法）
04-26
Kettle入门教程（详细介绍控件使用方法）本手册主要是对Kettle工具的功能进行详细说明以及如何操作该系统，适合所有使用该系统的人员。
kettle加工处理月累、年累数据
hyfstyle的博客
09-25 797
有需要算 月累（当月1号至当前日期）、年累(当年1月1号至当前日期的销售数量、金额等)数据时， 数据只能一天一天累计加工。 先初始化加工数据，可以扫描日期文件，用kettle加工数据， 一天加工一次；脚本调度扫描日期一天一天执行。 #!/bin/bash #脚本所在路径 WORK_DIR=/home/hadoop/ktl_wks LOG_DATE=`date +%Y%m%d` LOG_TIME=`date +%H%M%S` KETTLE_HOME=/home/hadoop/software/pdi-c
kettle在多环境中区分环境使用
u012878005的博客
08-01 775
kettle的kettle.properties可以根据环境添加值，job中使用变量，达到区分环境的效果。 通常我们项目中每个环境的数据库都是分开的，这个时候我们就需要根据环境来设置数据库的连接信息了，如： 编辑kettle.properties： 数据库连接使用变量 这样就能达到区分环境的效果。 自定义修改kettlle默认读取kettle.properties文件路径： 配...
Kettle JAVA代码表达式
DN_XIAOXIAO的博客
07-04 525
给定的数据里，不是药品的有如下： 南航的飞机又晚点了 一个南京航空大学的朋友来看我了 楠 航 的 A380 太 大 了 ~~~ 南方航空的服务还不错 表达式1 CONTENT.indexOf("南航")>-1 || CONTENT.indexOf("南方航空")>-1 || CONTENT.matches(".*[南|楠].*航\s*.*") 这个会把 “一个南京航空大学的朋友来看我了...
Kettle的循环遍历
王通礼的博客专栏
01-11 4万+
在ETL的工具Kettle中使用了循环遍历的一个案例，这个类似Java的for 循环遍历一样。 开发背景：数据库中存放的表数据table A和Table B，同时进行读取这些表的行数，或者读取通用的配置，这样才会使用Kettled的循环遍历功能。 在这里写一个测试的案例，主要实现的功能是遍历table a中的数据，在日志中输出。 整体流程如下： 这是一个Kettle 的作业，第一个转换内
Kettle 作业步骤循环执行的实现
热门推荐
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
10-25 6万+
场景：User_Tables存放着系统用户的表信息，其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表，使用Kettle实现循环执行这些表。 例如统计表A、B的总行数： SELECT COUNT(1) FROM A； SELECT COUNT(1) FROM B; 这些SQL语句除开表名外，其他部分都是一样的，所以在使用KETTLE抽取数据
KETTLE如何实现实时的增量更新（两种方法）
糖糖糖糖糖先森
11-27 2万+
要实现实时的增量更新共有两种方法： 1.通过触发器。在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时 表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有 一定的影响。 2.通过时间戳。我
kettle入门(六) 之kettle抽取变量表名表
xiaohai798的专栏
05-17 3万+
kettle抽取变量表名表Job
kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示
xiaohai798的专栏
08-01 6万+
kettle的转换ktr里有一个图元叫做合并记录可以把数据记录分为源和目的根据唯一标示 进行全量比对，
这10个常用的Kettle操作，你不会不行!
大数据梦想家
05-01 1万+
        在上一篇博客《一招教你用Kettle整合大数据和Hive,HBase的环境!》中，已经为大家介绍了Kettle高阶操作中所需要涉及到与Hadoop，Hive，HBase等组件的环境配置过程。本篇，就让我们正式步入到Kettle的常用操作中。         码字不易,先赞后看! 文章目录1. HDFS - Excel2. Json
开源ETL工具kettle系列之常见问题
stefshawn的专栏
05-05 6546
摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 1. Join 我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么
kettle循环执行作业中结果集中数据获取
maenlai0086的博客
07-09 1万+
1.JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果,数据库中查询的结果集if (prevRow == null &&(prevRow.size()=0)){ false; }else{ parent_job.setVariable("tables", prevRow);//ArrayList存储...
时序数据处理小技巧---巧用时间戳
weixin_39100974的博客
02-27 2308
时序数据处理小技巧—巧用时间戳 数据处理和特征工程中中常常会遇到对时序数据的聚合统计等操作，我在未发现这个技巧之前，常常需要查各类时间处理的函数的api。但当有一次，有个朋友问我如何每间隔15秒（比较极端）统计多个不同账号的下单次数时，我发现使用现有函数去对划分时间很困难。这时我想到了时间戳去解决这个需求 示例一 上图为某个流水表的部分数据，_id代表了一个用户，_time是下单时间，如何每隔1...
kettle 增量更新
a1500020356的博客
06-23 3066
1. 前提，表有更新日期字段。且相同排序规则      输入（新旧数据源） 2.  合并比较 （关键字：唯一键）（数据字段：比较字段，判断是否更新，还是新增，还是删除，）（标志字段：updated   changed  new ） 3，
Kettle数据抽取流程详解：从输入到更新
4. **插入/更新**：最后，数据会被插入或更新到目标数据库的指定表中。需新建数据库连接，确定目标表，并设置主键和更新字段。主键用于匹配现有记录，更新字段则是要修改的数据列。 二、作业流程 1. **START**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值