《数据清洗》 第四章 数据抽取

目录

1.抽取CSV文件

1.1打开kettle工具，创建转换

1.2配置“CSV文件输入“控件”

 1.3配置“表输出”控件

 1.4运行转换csv_extract、查看数据表csv中的数据

2.抽取JSON文件

2.1创建转换

2.2配置JSON input控件

 2.3配置“表输出”控件

2..4运行转换json_extract、查看数据表json中的数据

---

1.抽取CSV文件

1.1打开kettle工具，创建转换

创建转换csv_extract，并添加“CSV文件输入”、“表输出”及hop跳连接线，用于实现CSV文件数据的抽取功能。

1.2配置“CSV文件输入“控件”

双击“CSV文件”控件，选择要抽取的文件csv_extract.csv；单击“获取字段”，kettle自动检索CSV文件并对其中字段类型、格式、长度、精度等属性进行分析；

单击“浏览”，文件数据已成功抽取到CSV文件输入流中；完成“CSV文件输入”控件的配置。

 1.3配置“表输出”控件

双击“表输出”控件，单击“新建”，配置数据库连接；

选择输出目标表csv_extract，勾选“指定数据库字段”;

 

 选择“数据库字段”选项卡，单击“输入字段映射”，将映射字段添加到映射框中；

完成表输出控件配置

 

 1.4运行转换csv_extract、查看数据表csv中的数据

2.抽取JSON文件

2.1创建转换

使用Kettle工具创建转换json_extract.json，并添加JSON input控件、“表输出”控件以及Hop跳连接线，用于抽取JSON文件种的Key值为id，field和value的数据，并保存至数据表json中；

 

2.2配置JSON input控件

进入“JSON输入”界面，选择文件json_extract.json

进入“字段”选项卡界面，添加要抽取的数据字段

 双击JSON input2控件，进入“JSON 输入”界面，勾选“源定义在一个字段里？”复选框，在“从字段获取源”后下拉列表中选择字段名，即data

 

 2.3配置“表输出”控件

MySQL数据库连接配置；

选择输出目标表json；

将数据表json的字段与JSON文件json_extract,json中的字段进行匹配；

 

完成“表输出”控件配置。

 

2..4运行转换json_extract、查看数据表json中的数据