Kettle常用的控件

Excel输入：读取excel文件，注意这里有两种excel的版本xls,xlsc，这两种不同的格式要选择不同的检索引擎。

Excel输入：将数据写出到excel文件中。

文本文件输出：将读取的内容输出到文本文件中。

设置变量：将读取到的内容设置成一个变量。只能获取一个变量值。

生产记录：可以生成一些随机数什么的。

映射：类似于将1转成男，0转成女的操作。

javascript代码：嵌入js代码。

HttpClient：发出http请求。

邮件：可以批量发送邮件，前提是必须要发件人是企业邮箱，并且发件人在邮箱设置中开通了授权码。

映射：实际上就是类似于0代表女，1代表男的这种转换。

转换控件：转换控件是用来单独关联转换任务文件的，可以单独创建一个任务，然后通过转换控件去使用这个单独创建的任务。

执行作业任务：用于关联任务的。

java代码：可以嵌入java代码。
concat_field：可以将字段拼接起来，就像是es中的copy_to一样的功能。

json inpu件：用户进行json数据输入的控件。

过滤记录：过滤记录控件实际上就是if流程控制。

自定义常量数据：可以自己手动输入记录。

表输入：将数据库中的内容读取出来。

表输出：将数据流中的中的内容插入到数据库中。

更新：将两个表的数据对比，然后更新表数据。

插入/更新：两个表的数据对比，如果有对比不上的久直接追加更新。

自定义常量数据：只允许手动添加一些常量数据。

删除：和数据对比，然后删除数据库中的数据。

增加常量：在原有的数据基础之上，再增加一列常量数据。

增加序列：在原有的数据基础之上，再增加一列序列字段和值。

选择字段：该数据的字段名称、数据类型等。

计算器：可以将数据进行一定的计算，然后在输出。

字符串剪切、替换、操作：这几个空间是针对字符串的一些操作定制的。

排序记录：对数据进行排序处理

去除重复记录：对数据进行去重，使用去除重复记录之前需要进行排序记录操作，这里要排序是因为这里是和相邻的数据进行排序，所以需要进行排序。

唯一行(hash值)：也是去重。

拆分字段：将某一个字段按照分割符查分成多个字段，拆分之后，原字段不存在了。

列拆分多行：就是有的数据的某一个字段的内容比较长，然后使用分隔符隔开的，列拆分多行的作用就是将这一列转成多行记录。
例如:

列转行：就是将数据行显示方式转成列显示。

行转列：就是将行数据转成列的方式显示。

行扁平化：执行行扁平化之前需要排序，其实就是将具有相同属性值的列合并成一行，将行数据转成列。

替换NULL值：把NULL转成一些其他的值。

switch case：java中的switch语句。

写日志：一般用于调试，会将数据打印到控制台。

过滤记录：就是if语句。

空操作：实际上就是什么都不做，一般不用。

终止：如果有数据流入到一个地方是不合法的话，就直接终止，这种操作一般是用来做数据校验的。

数据库查询：就是内连接。

数据库连接：执行查询语句，支持传入形参，sql语句使用？作为占位符。这种是跨库的。

流查询：将两个不同的表中的数据(这里就可以多数据库做对比了)做对比，然后在把匹配的数据写出。可以用来做多数据库数据对比操作。

合并数据：最好先进行排序，比对两个数据库表的差异性，并且使用一个字段进行标识 ，标识这一条数据在两个库中中的差异性。

记录关联(笛卡尔积)：记录数=a表数据*b表数据。

记录级连接：就像数据库中的左连接，右连接，外连接，内连接。需要先对数据做排序记录。

分组：分组前需要先排序。

java代码：在todo部分写java代码。

设置变量：局部参数使用:设置变量，在当前流程不可用，只有当下一个流程才可以用，使用%%变量名%%或者${变量名}。转换之间参数传值使用，设置变量传参，接受变量使用获取变量接受。
设置变量一次一个变量名只能接受一个变量值。

获取变量：获取设置变量中的值。

注意：
1、转换是并行执行的，作业是串行的。
2、转换中的命名参数只对转换内部可见。
3、一般是job里面关联转换，而不是转换在外面关联字段。
4、转换中的命名参数只对转换内部可见。
5、有的时候使用表输出和表输入实现同步数据会出错，所以可以使用表输入和插入\更新组件实现数据转移。