本文详细介绍了如何使用Kettle工具进行数据预处理，包括从people.txt文件中抽取数据，配置文本输入，去重操作，以及通过哈希值控制实现唯一行。通过一步步操作，展示了如何确保数据准确性并避免重复。
1.数据预览
2.打开kettle新建一个转换并添加下述步骤然后用跳连接
3.双击文本文件输入进行配置
单击浏览按钮，选择要去重的文件people.txt；单击【增加】按钮，将要去重的文件people.txt添加到转换中。
单击“内容”选项卡；清除分隔符处的默认分隔符“；”，并单击Insert TAB按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。
单击“字段”选项卡；根据文件people.txt的内容添加对应的字段名称，并指定数据类型
单击【预览记录】按钮，查看文件people.txt的数据是否成功抽取到文本文件输入流中。
4.配置唯一行（哈希值）控件
5.保存运行，成功后截图如下
6.查看去重之后的数据
选中唯一行（哈希值）控件，单击执行结果窗口的Preview data选项卡
扫一扫
1277
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
