一.对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份,并输出到文本文件personnle_data_new.txt中。
1.打开Kettle工具,新建转换
2.配置文本文件输入控件
双击“文本文件输入”控件,进入“文本文件输入”界面,单击“浏览”按钮,选择personnel_data.txt文件;单击“增加”按钮,将personnel_data.txt文件添加到generalization转换中。
单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击“Insert TAB”按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。
单击“字段”选项卡,根据personnel_data.txt文件的内容添加对应的字段名称,并指定数据类型。
3.配置字段选择控件
双击“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称:
4.配置排序记录控件
双击“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序:
5.配置表输入控件
击“表输入”控件,进入“表输入”界面,单击“新建”按钮,配置数据库连接,配置完成后单击“确认”按钮,在SQL框中编写SQL语句,用于查询city数据表中字段city和pid的数据,用于与personnel_data.txt文件中household_register字段进行合并连接
6.配置排序记录2控件
双击“排序记录 2”控件,进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序