Kettle数据转换

目录

1.数据粒度的转换

2.数据的商务规则计算

---

数据准备：本文章使用的数据来自一个名为personnel_data.txt的文本文档，其内容如下图所示，本次将对该文件进行数据粒度的转换以及数据的商务规则计算

1.数据粒度的转换

（1）创建转换

使用Kettle工具，创建一个转换，并添加文本文件输入控件、表输入、字段选择控件、排序记录控件、记录集连接控件、过滤控件、空操作控件、文本文件输出控件以及Hop跳连接线，具体如图所示：

 

（2）配置“文本文件输入”控件

双击“文本文件输入”控件进入其配置界面，单击“浏览”选择需要进行数据粒度转换的文件personnel_data.txt文件，单击“增加”将该文件加入“选中的文件”中。 

 单击“内容”，删除“分隔符”处的；，单击一次【Insert TAB】，并取消头部复选框里的√，效果如下图所示：

 单击“字段”，手动输入文件中的字段名称并选择去除空字符串的方式，效果如下图：

 点击“预览记录”，可观察文本文件中的数据是否加载到文本文件输入流中：

单击“关闭” ->“确定”，完成“文本文件输入”控件的配置。

（3）配置“字段选择”控件

 双击“字段选择”控件进入其配置界面，在“选择和修改”选项卡的“字段”处手动加入所需字段，此处添加字段id和household_register，具体效果如下图所示：

 点击“确定”按钮，完成“字段选择”控件的配置。

（4）配置“排序记录”控件

双击“排序记录”控件进入其配置界面，在“字段”框中添加字段housegold_register，以该字段为基础对整体数据进行升序排序，效果如下图：

 点击“确定”按钮，完成“排序记录”控件的配置。

（5）配置“表输入”控件

双击“表输入”控件进入其配置界面，点击“新建”建立数据库连接（其中数据库与数据表来自《数据清洗》[黑马程序员编著]教材数据文件，需提前运行SQL文件建立），具体内如下图：