Kettle常用控件及一般使用方法

一，输入

        1，CSV文件输入

                相关说明：从本地的CSV文件中输入数据

                一般使用方法：双击“CSV文件输入”控件；单击“文件名”右侧按钮“浏览”，选择要抽取的csv文件；单击下方“获取字段”按钮，获取csv文件中各字段的属性；单击预览查看是否抽取成功；单击“确定”结束。

        2，文本文件输入

                相关说明：从本地的文本文件中输入数据

                一般使用方法：双击“文本文件输入”控件；在文件选项卡，单击“文件或目录”右侧按钮“浏览”，选择要抽取的文本文件；单击“文件或目录”右侧按钮“增加”，将该选择的文件添加到“选中的文件”中；在内容选项卡，要将分隔符换为一个制表符；若在文本文件中第一行为各字段的名称，则需要勾选“头部”复选框，反之则不需要勾选；在字段选项卡，点击“获取字段”，得到抽取文件这所有的字段，可以更改字段的属性，一般选择默认；单击“预览记录”，查看是否抽取成功；单击“确定”结束。

        3，表输入

                相关说明：从数据库的数据表中输入数据

                一般使用方法：双击进入“表输入”控件；单击“新建”，配置数据库连接，配置成功单击确认按钮；可以在sql框插入查询所需数据表的sql语句；也可点击“获取sql查询语句”，找到相应的表；点击“预览”，查看是否抽取成功；成功后，点击“确定”结束。

二，输出

        1，文本文件输出

                相关说明：将处理的结果输入到文本文件中

                一般使用方法：双击进入“文本文件输出”控件；在文件选项卡，点击文件名右侧按钮“浏览”，找到要输出的文件路径；在内容选项卡，若需要处理的第一行（字段名），则勾选“头部”复选框；将分隔符替换为一个制表符；在字段选项卡，点击获取字段，查看字段的属性及是否符合所需要求，点击确定结束。

        2，表输出

               

                相关说明：将处理的结果输出到数据库的数据表中（使用此控件需提前创建好数据表）

                一般使用方法：双击进入“表输出”控件；单击“新建”，配置数据库连接，配置成功单击确认按钮；单击目标表右侧按钮“浏览”，找到相应的数据表；勾选“指定数据库字段”复选框；进入数据库字段选项卡，单击“获取字段”，在插入的字段中查看是否所有字段都已获取；单击“输入字段映射”，将处理结果中的字段与数据表中相应属性一一对应；成功后，点击“确定”结束。

        3，插入/更新

                相关说明：根据处理后的结果对数据库中的数据表进行插入更新。根据查询条件中的字段判断数据表中是否存在相关记录，若存在，则进行插入，否则进行更新。

                一般使用方法：双击进入“插入/更新”控件；单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮。单击目标表右侧按钮“浏览”，选择相应的数据表；单击“获取字段”按钮，用来指定查询数据需要的关键字，也可手动输入；单击“获取和更新字段”，用指定需要更新的字段；点击“确定”结束。

三，转换

        1，值映射

                相关的说明：数据的映射

                一般使用方法：双击进入“值映射”控件；下拉使用的字段名，选择需要映射的字段名A；在目标字段名出填写一个新字段名B，这个字段名B将出现在结果中，不填表示将映射的结果覆盖原字段A；在不匹配时的默认值可以填写任意符号，表示不在映射范围之内；字段值中，源值为字段A中的某一个值，目标值为需要替换映射的新值；全部设置结束后，点击“确定”结束。

        2，去除重复记录

                相关说明：从输入流中去除重复的记录，需要注意的是输入流中的数据必须是已排序的，即去除重复记录之前必须用排序记录控件。

                一般使用方法：双击进入“去除重复记录”控件；在用来比较的字段中，字段名称为需要去重的字段名称，忽略大小写按需求来选择，一般选择N(NO)，点击“确定”结束配置。

        3，唯一行（哈希值）

                相关说明：从输入流中去除重复的数据，不需要对数据流中的数据进行排序。

                一般使用方法：双击“唯一行（哈希值）”控件；在“用来比较的字段”处添加要去重的字段，也可单击获取来添加；点击“确定”结束。

        4，字段选择

                相关说明：‘选择需要的字段，过滤不要的字段，也可与数据库字段对应。

                一般使用方法：双击打开“字段选择”控件，在选择和修改选项卡，可以选择需要的字段，并为其改名；在移除选项卡，可以添加需要移除的字段；在元数据选项卡，一般用于为字段改名。

        5，排序记录

                相关说明：基于某个字段值将数据进行升序或降序处理。

                一般使用方法：双击打开“排序记录”控件，在字段框中选择要排序的字段，并在升序栏中选择是或者否；点击“确定”结束。

        6，增加常量

                相关说明：增加需要的常量字段

                一般使用方法：双击打开“”增加常量字段；在字段框添加新增的字段，确定类型，并给出相应的值；点击“确定”结束。

四，应用

        1，替换NULL值

                相关说明：若某个字符串的值为null,则指定某个字符串的值进行替换。

                一般使用方法：双击打开“替换NULL值”控件；勾选选择字段复选框；在下面字段框中选择要替换的字段，填写“值替换为”为替换的值；点击“确定”结束。

        2，设置值为NULL

                相关说明：若某个字符串的值等于指定的值，则将这个字符串的值设置为空。

                一般使用方法：双击打开“设置值为NULL”控件；在字段框中选择想要替换的字段，并将“需要转换为null的值”设置为要替换的值；点击“确定”结束。

五，流程

        1，空操作

                相关说明：不做任何操作，一般充当一个占位符。

        2，过滤记录

                相关说明：根据条件对数据进行过滤分类。

                一般使用方法：双击打开“过滤记录”控件；在“发送true数据给步骤”选择满足条件的数据应去的控件；在“发送false数据给步骤”选择不满足条件的数据应去的控件；在下方条件框，左侧“field”框选择要过滤的字段，“=”框选择要用到条件符号（>,<,>=,<=,=等），右侧“field”框选择要比较的字段，“value”框填写要比较的值；点击“确定”结束。

六，脚本

        1，java代码

                相关说明：转换的扩展功能，编写java脚本，对数据进行相应的处理。

                一般使用方法：双击打开“java代码”控件；在代码-“Processor”框编写Java代码；在字段框选择要处理的字段；点击“确定”结束。

七，连接

        1，合并记录

                相关说明：合并两个数据流，并根据某个关键字排序。合并记录的使用前提是2个数据源都按比较关键字排过序，否则合并之后的数据不准确，可能会多出很多。

                一般使用方法：双击打开“合并记录”控件；“旧数据源”选择旧数据流的控件；“新数据源”选择新数据流的控件；设置标志字段：设置标志字段的名称，新增一个字段；标志字段用于保存比较的结果，比较结果有下列几种。1. “identical” – 旧数据和新数据一样；2. “changed” – 数据发生了变化;3. “new” – 新数据中有而旧数据中没有的记录；4. “deleted” –旧数据中有而新数据中没有的记录。选择关键字段，用来定位两个数据源中的同一条数据。选择比较字段，对于两个数据源中的同一条记录中，指定需要比较的字段。点击“确定”结束。

        2，排序合并

                相关说明：合并多个数据流，并且数据的行要基于某个关键字进行排序。

                一般使用方法：双击打开“排序合并”控件；在字段框中选择要排序的字段，选择是否升序；若字段框中有多个字段，则排序结果先满足在前面的字段排序，然后依次满足后面的字段排序。