4.2HTML网页的数据抽取

通过Kettle工具抽取HTML网页的数据，并保存至数据库extract中的数据表html中。                          我们以抽取“豆瓣电影排行榜”网页的超链接数据为例进行抽取数据，豆瓣电影排行榜页面的部分内容如图所示。

1.通过使用Kettle工具，创建一个转换转换html_extract，并添加“自定义常量数据”输入控件、“HTTP client”查询控件和“Java代码”脚本控件，，具体如图所示。

 

2.双击“自定义常量数据”控件，进入“自定义常量数据”界面。单击“元数据”选项卡，定义一个字段常量filename并指定数据类型String；单击“数据”选项卡，添加html形式数据所在的URL，即https://movie.douban.com/chart。

 

3.双击“HTTP client”控件，进入“HTTP web service”界面。勾选图4-40的“从字段中获取URL？”的复选框；在“URL字段名”处的下拉框中选择URL字段名，即filename；在“结果字段名”处指定结果字段名称，这里选择默认的结果字段result。“HTTP client”控件配置的效果如图所示。

 

4.双击“Java”控件，进入“Java代码”界面。双击“Code Snippits”→ “Common use”→ “Main”，添加Java脚本代码的主方法，即程序入口。并单击“Java代码”控件中的“字段”选项卡，用于添加新生成的字段；单击“参数”选项卡，用于传入参数。

 

 结果如下

案例：通过Kettle工具抽取XML文件xml_extract.xml中的数据并保存至数据库extract的数据表xml中。 

1.通过使用Kettle工具，创建一个转换转换xml_extract，并添加“Get data from XML”控件、“表输出”控件以及Hop跳连接线，具体如图所示。

2.双击“Get data from XML”控件，进入“XML文件输入”界面。单击【浏览】按钮，选择要抽取的XML文件xml_extract.xml。

 

单击“内容”选项卡，单击【获取XML文档的所有路径】选择循环读取路径，即/AllRows/Rows/Row。 

单击“字段”选项卡，添加要抽取的字段。 

3.双击“表输出”控件，进入“表输出”配置界面。 单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮，选择输出的目标表，即xml数据表；勾选“指定数据库字段”的复选框，用于将数据表xml的字段与XML文件xml_extract.xml文件中的字段进行匹配。单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

最终结果：

案例：通过Kettle工具抽取JSON文件json_extract.json中的数据并保存至数据库extract中的数据表json中。

1.通过使用Kettle工具，创建一个转换json_extract，并添加“JSON input”控件、“表输出”控件以及Hop跳连接线，具体如图所示。

2.双击“JSON input”控件，进入“JSON输入”界面。单击【浏览】按钮，选择要抽取的JSON文件json_extract.json；单击【增加】按钮，将所选择的文件添加到“选中的文件和目录”处。

单击“字段”选项卡，添加要抽取的数据字段（这里采用分层抽取数据字段，先抽取id和data字段，再从data字段中抽取field和value字段）。

 双击“JSON input 2”控件，进入“JSON输入”界面。勾选“源定义在一个字段里？”的复选框；在“从字段获取源”处的下拉框中选择字段名，即data。

单击“字段”选项卡；添加从字段data中抽取的field和value字段。 

3.双击“表输出”控件，进入“表输出”配置界面。单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮，选择输出的目标表，即数据表json；勾选“指定数据库字段”的复选框，用于将数据表json的字段与JSON文件json_extract.json中的字段进行匹配。 单击“数据库字段”选项卡，再单击【输入字段映射】按钮，弹出“映射匹配”对话框，将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

 

 最终效果：