kettle实验三：HTML数据的导入和导出

【实验目的】
1.利用Kettle的“自定义常量数据”，“HTTP Client”组件，获取网页信息。
2.熟练掌握“自定义常量数据”，“HTTP Client”组件的使用，实现获取网页内容数据的目的。

【实验原理】
通过“自定义常量数据”将需要访问的URL（网页地址）设置为常量，并将该常量传递给“HTTP Client”步骤以获取网页内容的相应数据，最后使用“文本文件输出”步骤传递到本地的网页上进行展示。

【实验环境】
操作系统：Windows10 
Kettle版本：7.1.0.0
jdk版本：1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。（1）点击新建按钮，在下拉菜单中点击选择“转换”即可创建；（2）然后点击“保存”重命名该转换文件，保存在某个指定的路径；（3）选择输入步骤、输出步骤和跳。

二、各组件的配置

1.“自定义常量数据”的配置
Step1：双击‘自定义常量数据’组件，配置‘元数据’选项卡

Step2：配置‘数据’选项卡

2.“HTTP client”的配置：
双击“HTTP client”组件，勾选‘字段中选取URL’（重中之重）的请求，填写‘URL的名称’以及‘结果的字段名’。

3.“文本文件输出”的配置：
Step1：双击‘生成随机数’组件，配置‘文件’

Step2：配置‘内容’选项卡，选择编码

Step3：配置‘字段’选项卡，获取字段

三、执行转换

点击按钮，执行转换，结果如下：

四、实验结果:

输入文件‘原网址’：

输出文件‘test3_1.html’：

五、实验总结

本次实验目的是熟练掌握“自定义常量数据”，“HTTP Client”组件的使用，实现从Web获取数据内容的目的。“HTTP Client”会发出HTTP GET请求或者直接访问HTML页面，而HTTP GET请求主要是从服务器获取数据，不会对服务器的数据进行修改，避免其对服务器造成危害。
本次实验的重点主要是“自定义常量数据”步骤中定义网址的常量，需注意“HTTP Client”获取内容时的编码格式以及输出时的编码格式，前后编码不一致会出现乱码（本次实验过程中，并未注意这一细节导致最终获取的内容出现乱码）。
总之，做实验要多多注重细节，尽量避免自己不经意间的一个操作而使程序无法运行，另外，多多踩坑，多实践，多操作，积累经验。

附 件：