Kettle数据抽取实战之四：网页数据抽取

最新推荐文章于 2024-03-24 15:04:42 发布

原创

最新推荐文章于 2024-03-24 15:04:42 发布 · 4.2k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#数据抽取 #Kettle

本文详细介绍了如何使用Kettle工具进行数据提取。首先在Kettle中新建转换，添加‘生成记录’、‘HTTPclient’、‘GetdataformXML’和‘字段选择’组件。在‘生成记录’中设定URL字段，然后在‘HTTPclient’中配置从字段获取URL并指定结果字段。接着在‘GetdataformXML’中设置XML源字段并指定循环读取路径。通过这些步骤，可以成功抓取并解析XML文件中的数据。

1.运行Kettle，在菜单栏中单击“文件”选项，在弹出的下拉菜单中选择“新建”-“转换”选项，在打开的界面中选择“输入”-“生成记录”选项，在“查询”中选择“HTTP client”选项，在“输入”中选择“Get data form XML”选项，在“转换”中选择“字段选择”选项，将它们拖拽到中间工作区域，并建立及诶单链接，生成界面如下图
在这里插入图片描述
2.双击打开“生成记录”对话框，在“名称”列输入“url”，在“类型”列输入“String”，在“值”列输入网址：https://services.odata.org/V3/Northwind/Northwind.svc/Products/，如下图

3.单击“预览”，可查看生成记录的数据，如下图
在这里插入图片描述
4.双击“HTTP client”，在打开的对话框中选择“从字段中获取URL”，设置“URL字段名”为url，“结果字段名”为result，如下图

5.双击“Get data form XML”图标，选择“文件”选项卡，选中“XML源定义在一个字段里？”复选框，设置“XML源字段名”为result，如下图

最低0.47元/天解锁文章