kettle实验五：使用参照表清理数据

【实验目的】
1.利用Kettle的“自定义常量数据”，“流查询”，“计算器”等组件，比对数据并计算出相似率。
2.熟练掌握“自定义常量数据”，“流查询”，“计算器”组件的使用，实现数据的比对。

【实验原理】
通过两个“自定义常数变量”组件分别输入源数据表和参照数据表，使用“流查询”组件进行连接比对，然后通过“计算器”组件计算数据的相似度，进而达到数据处理的目的。

【实验环境】
操作系统：Windows10 
Kettle版本：7.1.0.0
jdk版本：1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。（1）点击新建按钮，在下拉菜单中点击选择“转换”即可创建；（2）然后点击“保存”重命名该转换文件，保存在某个指定的路径；（3）选择输入步骤、输出步骤和跳。

二、各组件的配置

1.“Data Grid”的配置
Step1：双击‘自定义常量数据’组件，配置‘元数据’选项卡,设置常量名称和类型

Step2：配置‘数据’选项卡，设置常量对的应数据值

2.“Data Grid Ref”的配置
Step1：双击‘自定义常量数据’组件，配置‘元数据’选项卡,设置常量名称和类型

Step2：配置‘数据’选项卡，设置常量对应的数据值

3.“流查询”的配置：
双击‘流查询’组件，配置‘查询值所需的关键字’和‘指定用来接收的字段’

4.“计算器”配置
双击‘计算器’组件，设置数据比对的计算方法以及计算结果存放的字段

5.“Microsoft Excel 输出”配置
Step1：配置‘文件’选项卡，选取输出文件的名称和类型

Step2：配置‘字段’选项卡，获取字段并设置其类型（多余的字段可以删除）

三、执行转换

点击按钮，执行转换，结果如下：

四、实验结果:

‘自定义产量’输入的数据：

输出文件‘test5.xlsx’：

五、实验总结

本次实验的目的主要是在参照表的基础上使用‘流查询’组件进行比对，然后运用‘计算器’组件计算源数据的正确率并输出，以达到数据处理的最终目的。
本次实验过程中，体会到使用参照表对比数据的便捷性，进一步提高了个人熟练使用kettle工具的能力，实验操作中暂未遇到加大的困难。

附 件：