数据的清洗与检验

一.不完全去重

1.打开kettle工具，创建转换

 2.配置“文本文件输入”控件
（1）双击“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择要去重的文件people.txt，单击“增加”按钮，将要去重的文件people.txt添加到转换part_repeat_transform，如下图所示：

2）单击“内容”选项卡，切换到“内容”选项卡界面，清除分隔符处的默认分隔符“；”，并单击Insert TAB按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框，若不取消，则在进行数据抽取操作时会排除文件第一行的数据。“内容”选项卡的配置如下图所示：

（3）单击“字段”选项卡，切换到“字段”选项卡界面，根据文件people.txt的内容添加对应的字段名称，并指定数据类型，这里需要注意的是，制表符可看作是由多个空格组成，因此在“去除空字符串方式”列时，所添加的字段都应选择“不去掉空格”，否则在抽取数据操作时，会把制表符当作空格去除，而不能把制表符作为分隔符实现文本文件内容的分割。“字段”选项卡配置如下图所示：

 （4）单击“预览记录”按钮，查看文件people.txt的数据是否成功抽取到文本文件输入流中，如下图所示：

 5࿰