【实验目的】
1.利用Kettle的“自定义常量数据”,“HTTP Client”组件,获取具有一定结构的网页内容,并使用。
2.熟练掌握“自定义常量数据”,“HTTP Client”,“JSON Input”组件的使用,实现网页内容的获取以及解析。
【实验原理】
通过“自定义常量数据”将需要访问的URL(网页地址)设置为常量,并将该常量传递给“HTTP Client”步骤以获取具有一定结构的网页内容的相应数据,然后使用“JSON Input”对内容进行解析,选取需要的数据,最后使用“Excel输出”步骤传递到本地的网页上进行展示。
【实验环境】
操作系统:Windows10
Kettle版本:7.1.0.0
jdk版本:1.8.0及以上版本
【实验步骤】
一、建立转换
双击spoon.bat打开kettle。(1)点击新建按钮,在下拉菜单中点击选择“转换”即可创建;(2)然后点击“保存”重命名该转换文件,保存在某个指定的路径;(3)选择输入步骤、输出步骤和跳。
二、各组件的配置
1.“自定义常量数据”的配置
Step1:双击‘自定义常量数据’组件,配置‘元数据’选项卡,设置常量名称和类型