【实验目的】
1.利用Kettle的“自定义常量数据”,“HTTP Client”组件,获取网页信息。
2.熟练掌握“自定义常量数据”,“HTTP Client”组件的使用,实现获取网页内容数据的目的。
【实验原理】
通过“自定义常量数据”将需要访问的URL(网页地址)设置为常量,并将该常量传递给“HTTP Client”步骤以获取网页内容的相应数据,最后使用“文本文件输出”步骤传递到本地的网页上进行展示。
【实验环境】
操作系统:Windows10
Kettle版本:7.1.0.0
jdk版本:1.8.0及以上版本
【实验步骤】
一、建立转换
双击spoon.bat打开kettle。(1)点击新建按钮,在下拉菜单中点击选择“转换”即可创建;(2)然后点击“保存”重命名该转换文件,保存在某个指定的路径;(3)选择输入步骤、输出步骤和跳。
二、各组件的配置
1.“自定义常量数据”的配置
Step1:双击‘自定义常量数据’组件,配置‘元数据’选项卡
Step2:配置‘数据’选项卡
2.“HTTP client”的配置:
双击“HTTP client”组件,勾选‘字段中选取URL’(重中之重)的请求,填写‘URL的名称’以及‘结果的字段名’。
3.“文本文件输出”的配置:
Step1:双击‘生成随机数’组件,配置‘文件’
Step2:配置‘内容’选项卡,选择编码
Step3:配置‘字段’选项卡,获取字段
三、执行转换
点击按钮,执行转换,结果如下:
四、实验结果:
输入文件‘原网址’:
输出文件‘test3_1.html’:
五、实验总结
本次实验目的是熟练掌握“自定义常量数据”,“HTTP Client”组件的使用,实现从Web获取数据内容的目的。“HTTP Client”会发出HTTP GET请求或者直接访问HTML页面,而HTTP GET请求主要是从服务器获取数据,不会对服务器的数据进行修改,避免其对服务器造成危害。
本次实验的重点主要是“自定义常量数据”步骤中定义网址的常量,需注意“HTTP Client”获取内容时的编码格式以及输出时的编码格式,前后编码不一致会出现乱码(本次实验过程中,并未注意这一细节导致最终获取的内容出现乱码)。
总之,做实验要多多注重细节,尽量避免自己不经意间的一个操作而使程序无法运行,另外,多多踩坑,多实践,多操作,积累经验。