ETL笔记——第四章 数据抽取（抽取Web数据）

一、XML文件的数据抽取

通过Kettle工具抽取XML文件xml_extract.xml中的数据并保存至数据库test的数据表xml中。

1、数据准备

现有一个XML文件名为xml_extract.xml，该文件的内容如图所示。

 

2、xml_extract转换

（1）创建一个转换转换xml_extract，并添加“Get data from XML”控件、“表输出”控件以及Hop跳连接线。

 

（2）各控件配置

1）配置Get data from XML控件

选择并添加要抽取的XML文件xml_extract.xml。

  

 

单击“内容”选项卡，单击【获取XML文档的所有路径】选择循环读取路径，即/AllRows/Rows/Row。

 

添加要抽取的字段。

 

2）配置表输出控件

新建数据库连接，选择输出的目标表，即xml数据表；勾选“指定数据库字段”的复选框，用于将数据表xml的字段与XML文件xml_extract.xml文件中的字段进行匹配。

 

单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

 

“表输出”控件配置的最终效果如下。

 

3、运行xml_extract转换

通过SQLyog工具，查看数据表xml是否已成功插入6条数据。

 

二、JSON文件的数据抽取

通过Kettle工具抽取JSON文件json_extract.json中的数据并保存至数据库test中的数据表json中。

1、数据准备

现有一个JSON文件名为json_extract.json，部分内容如图所示。

 

2、json_extract转换

（1）创建一个转换json_extract，并添加“JSON input”控件、“表输出”控件以及Hop跳连接线。

 

（2）各控件配置

1）配置JSON文件输入控件

选择并添加要抽取的JSON文件json_extract.json。

 

添加要抽取的数据字段（这里采用分层抽取数据字段，先抽取id和data字段，再从data字段中抽取field和value字段）。

 

2）配置JSON文件2输入控件

勾选“源定义在一个字段里？”的复选框；在“从字段获取源”处的下拉框中选择字段名，即data。

 

添加从字段data中抽取的field和value字段。

 

3）配置表输出控件

新建数据库连接，选择输出的目标表，即数据表json；勾选“指定数据库字段”的复选框，用于将数据表json的字段与JSON文件json_extract.json中的字段进行匹配。

 

单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

 

“表输出”控件配置的最终效果如下。

 

3、运行json_extract转换

通过SQLyog工具，查看数据表json是否已成功插入6条数据。