数据清洗 第四章

一、CSV文件的抽取

  1.打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能

2.进入“CSV文件输入”控件，进入“CSV文件输入”界面，点击浏览，选取文件csv_extract.csv 

3. 点击获取字段和预览按钮，Kettle自动检索CSV文件，、

 

 4.双击“表输出”，进入表输出界面，点击“新建”按钮，进行配置数据库连接，勾选指定数据库字段复选框，将csv_extract.csv中的字段进行匹配，选择“数据库字段”选项卡。

5. “输入字段映射”按钮，弹出“映射匹配对话框”，一次选中“源字段”中的和“目标字段”中的字段，再点击Add按钮，将一对映射字段添加至映射框中。

6.点击运行

 

 二、JSON数据的抽取

1.使用Kettle工具创建转换json_extract.json，并添加JSON input控件、“表输出”控件以及Hop跳连接线，用于抽取JSON文件种的Key值为id，field和value的数据，并保存至数据表json中。

 2.配置JSON input控件，双击JSON input控件，进入“JSON 输入”界面。点击浏览按钮，选择抽取的json_extract.json，点击“增加”按钮，将选择文件添加至“选中文件处”

 3.单击“字段”选项卡，进入“字段选项卡”界面，添加要抽取的字段。

4.配置“表输出”控件，双击“表输出”控件，进入“表输出”界面。

 

 5.启动转换

 6.结果展示