Kettle最常用控件 (v5.30)

最新推荐文章于 2024-08-15 17:36:16 发布

C++程序员Carea

最新推荐文章于 2024-08-15 17:36:16 发布

阅读量1.5w

点赞数 4

文章标签： kettle

本文链接：https://blog.csdn.net/calmreason/article/details/47613445

版权

Kettle 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

Kettle控件的特点：Kettle的控件分类比较细致，功能相对单一也很具体。使用起来很容易掌握。
Kettle一般处理方法：正式由于Kettle控件的细化特点，所以往往需要组合起来使用。组合使用只是从点的角度看问题，还有就是从线的角度看问题。比如，目标表中的各个列其值可能由其他列的值计算得到，这就涉及到列的计算次序。合理选择计算次序，可以降低计算复杂度和可读性。

修改kettle文件：修改之后要保存才能生效。

变量与参数：

1 位置参数：【argument】用?的第几次出现表示第几个参数
2 命名参数：【parameter】用名字取参数值，命令行的时候是 P = value
3 变量：

设置JVM内存大小

http://itroadmap.sinaapp.com/2014/12/10/kettle5-2-0-java-lang-outofmemoryerror-%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

变量控件

3.1.1设置变量这里写图片描述：把一个字段的值设置成变量，一个变量只能保存一行值！所以将值设置给变量的时候要注意结果集只能有一个元素。设置的变量可以被转换中的其他控件使用，而不必加入其他控件所在的流。

3.1.2 获取变量这里写图片描述：把一个变量的值设置成字段
3.1.3 哪些控件可以使用变量？凡是控件的属性输入最后是的都可以使用变量。

输入

表输入

这里写图片描述表输入：
（1）从数据库中读取记录，最终保存一个select语句；
（2）多个转换或者操作同时读取一个表的情况应该尽量避免，否则可能会因为锁操作而影响工作。
（3）从其他ktr文件拷贝而来的表输入，最好重新配置数据库连接。
2.0.1 SQL Server数据库连接配置
这里写图片描述
2.0.2 MySQL数据库连接配置

2.0.3 如果where条件中使用了变量，则可以使用变量引用方式：

SELECT *
FROM ${TABLENAMES}

同时勾选：这里写图片描述

2.1 这里写图片描述 Excel输入：从excel文件中读取数据。
注意：
（1）这里最好是xls文件！因为实验了xlsx文件出现了读取不到列名的问题。
（2）先选择【浏览】，再点击【增加】才会使用xls文件！如下图

输出

表输出

表输出这里写图片描述：将流中的数据写入到数据库指定表中；不会自动创建表

Excel输出

这里写图片描述
新版本的kettle支持Excel2007及以后颁布，这样导出行数就可以大大超过65535行，下面这个是老版本的Excel输出，建议不要使用

设置一下使用新版本的excel

导出字段的格式设置：
默认情况下，excel输出控件会猜测数据类型，但有时候具体格式需要设置，比如取整：#
这里写图片描述
比如日期Date类型的格式化输出：yyyy/mm/dd hh:mm:ss

如果使用：y表示年，m表示月，d表示日， h表示时，m表示分，s表示秒，出现的个数表示显示的位数。
按照行数分割文件：

4 插入更新

这里写图片描述插入更新：比表输出更好用的一个控件，可以指定目标表的指定字段相等的时候更新，否则直接插入，还可以选择更新的时候更新哪些字段。
如果要实现插入，则需要把相等字段添加到下放的【更新字段】中，这样源表有数据，目标表没有数据的时候就会执行插入。

5空操作

这里写图片描述空操作：
a）通常用于判断分支的一支，还用于操作易于理解
b）用于合并数据，多个来源，自然顺序合并，不能保证顺序。要求多个来源要满足：列数相同、列名相同、列类型相同。
c）用于输出流到多个目的地，这种情况下的默认操作（【分发】轮流输出数据到多个目的地，每个目的地得到的是流的子集）往往不是你想要的，所以要注意，因为你一般会使用【复制】，使用【复制】会使得每个目的地里的内容都是全集。
d）便于开发阶段预览数据
这里写图片描述
5.1 追加流：以先后顺序将两个流的数据合并。要求多个来源要满足：列数相同、列名相同、列类型相同。

6 JavaScript代码

这里写图片描述 JavaScript代码：
（1）长用来创建JavaScript变量，计算之前流中的数据，保存为新的流，供下游使用，变量自动变成上游数据的新追加列。和【设置变量】控件不同，【设置变量控件】只提供一个唯一的值。
（2）你几乎总是要打开兼容模式，这样可以帮助你写JavaScript代码
这里写图片描述
（3）JavaScript几乎总是用var定义新的变量，如果要将创建的VAR变量计算并输出到流中，需要手动指定你的这个变量要输出到流：【获取变量】

字符串提取子串：http://blog.csdn.net/calmreason/article/details/48649257
字符串转换为整数：http://www.w3school.com.cn/jsref/jsref_parseInt.asp

字符串替换：http://blog.csdn.net/chenwei160803/article/details/7000225

 岗级.setValue(岗级.getString().replace("（专业）","副"));

数字格式化输出为字符串（参考）：http://blog.csdn.net/superch0054/article/details/3789458
JavaScript源代码：

//Script here
var format = function (number, form) {
    var forms = form.split('.');
    var number = '' + number;
    var numbers = number.split('.');
    var leftnumber = numbers[0].split('');
    var exec = function (lastMatch) {
            if (lastMatch == '0' || lastMatch == '#') {
                if (leftnumber.length) {
                   return leftnumber.pop();
                } else if (lastMatch == '0') {
                    return lastMatch;
                } else {
                    return '';
                }
            } else {
                return lastMatch;
            }
    }
    var string = null;
    string = forms[0].split('').reverse().join('').replace(/./g, exec).split('').reverse().join('');
    string = leftnumber.join('') + string;

   if (forms[1] && forms[1].length) {
        leftnumber = (numbers[1] && numbers[1].length) ? numbers[1].split('').reverse() : [];
        string += '.' + forms[1].replace(/./g, exec);
    }
    return string.replace("//.$/", '');
};

var no = 'ryxx' + format(MAX_NO_SEC.getInteger(), '000000');

如下使用的时候

会生成如下效果：这里写图片描述

7流查询

这里写图片描述流查询：提供左连接追加字段的功能，其中右侧被左连接的表通过指定主键与坐标主键相等来连接，另外指定右表中哪些列要被追加到左表

8增加常量

这里写图片描述增加常量：给表添加新的常量列，每一行的长量列数据都使用常量填充，记得在表输入之后添加，在表输入之前不可以添加。http://blog.163.com/lfsyhuangaigang@126/blog/static/77436670201403192817833/

9分组

这里写图片描述分组：提供比SQL更方便快捷的group by功能，尤其是你分组之后，只想对其中一个求和，其他的只取其中一个的时候！

10排序记录

这里写图片描述排序记录：对记录按照指定的列进行排序，通常是其他控件必须的前奏，排序可以指定多个列

11过滤记录

这里写图片描述过滤记录：对一列或者多列同时使用BOOL条件，对条件判断为真的记录指定后续步骤，对条件判断为假的记录指定后续步骤。这个步骤通常和其他步骤结合使用，比如替换指定列为常量。

12将字段设为常量

这里写图片描述将字段值设置为常量：可以将制定字段的值设置为固定值，通常是一些状态值的设置。

13发送邮件

这里写图片描述发送邮件：可以从之前的流中获取流信息，设置好之后就可以发送邮件了。具体实例参考：kettle发送邮件

作业

定时任务的制作

http://blog.csdn.net/calmreason/article/details/49021993

复制记录到结果

这里写图片描述复制记录到结果：将结果传递到下一个转换中去。这个控件有时候是必不可少的，尤其是多个【转换】或者【作业】搭建一个更大的任务的时候。
14.2从结果中获取记录：取上一个转换中的数据。
作业和转换：
1 执行每一个输入行
这里写图片描述

这个选项如果勾选了之后，前面的转换结果有几行这个当前的转换就会执行多少次。
注意：这个设置

转换

字段选择

这里写图片描述主要作用（1）是重命名流里面的字段（2）阻止流中的字段进入下一个流程，如果要进入下一个流程要单独选择

主对象树

清空Kettle缓存

清空缓存的好处就是你之前连接了一个【表输出】，但是现在修%2�E6%9s��Xʞ�׹�R�4BA��%2_Q��t�?,z]f��dK-��G��-]2S[yj��PFh��O�B�q~�e�GpOf�[%��ok��"�mWFo �ś�q9"��16~��[w:��s��~��B/ A�A�G?F���G��KB��h!Ş�ɛ��/bq�s�1��k��u3�b})lݏ@��1T�m1U F�b�f�GL�m��’�”?F?��t.0��z��S{�ɄP5AD��%A�c$l�Gf�ݙ��
U�’�x��R�Ʌ9�*v�,
�M,�!��y�{��2�$�xd��"��'64�%�*�"��"A5A1%W�Z��%�es�B/ ։s� ��Wo��*h��i�GL1Y�mW� �b�^��t�NI���#��<,�E