2021-08-10_大数据工具kettle简单介绍

最新推荐文章于 2024-07-30 17:13:56 发布

莫闲123

最新推荐文章于 2024-07-30 17:13:56 发布

阅读量599

点赞数 1

文章标签：大数据

本文链接：https://blog.csdn.net/qq_41258451/article/details/119581667

版权

本文详细介绍了大数据ETL工具Kettle的使用，包括从不同文件格式中抽取数据，如TXT、CSV、Excel、XML和JSON。在转换数据阶段，涉及到排序、去重、字段操作等。最后，数据被加载到数据库中。此外，还讲解了如何在Linux环境下解压Kettle并运行脚本，以及设置权限和运行命令。

摘要由CSDN通过智能技术生成

大数据工具kettle

负责进行数据的ETL，和脚本的任务定时调度。

1 ETL解释

1.1 E：extract 抽取数据

文件中：
txt文件的内容读取
输入–文本文件输入：
1.浏览txt文件
2.点击增加这个文件
3.修改文件的分隔符
4.可能还需要修改文件的编码格式
5.获取文件的字段，有可能需要修改字段的类型和长度以及精度
6.预览自己的这一次操作看是否能够成功的读取文件的内容

csv文件的内容读取
输入–CSV文件的输入
1.浏览csv文件
2.点击获取字段，可以修改字段的长度精度和类型
3.预览一下

excel文件的内容读取
输入–EXCEL输入
1.浏览一个excel文件
2.增加这个文件
3.选择一个sheet标签页
4.获取头部字段，可以修改字段的长度精度和类型
5.预览一下

xml文件的内容读取：一种半结构化的数据的存储格式
1.浏览一个xml文件
2.增加这个文件
3.填写循环读取的路径，使用和linux相同的路径格式来填写
4.xml文件的读取，标签一定需要有父子级关系

json文件的内容读取
INPUT–json input
1.浏览一个json格式的文件
2.将文件增加到当前的控件中
3.定义数据的名称、路径、类型、长度和精度
因为json是一个键值对格式，通过 .关键字，就可以获取到这个关键字对应的值

网络中：接口API的数据

1.2 T：transform 转换数据

转换菜单中的组件：
排序记录
去除重复记录
字符串替换
字符串操作
字段选择
拆分字段
合并字段
列转行

应用菜单中的组件：
替换NULL值

流程菜单中的组件：
过滤记录

统计菜单中的组件：
分组

1.3 L：load 加载数据

将数据保存到数据库表格里面
输出–表输出
1.新建一个数据库的链接：填写连接名、数据库服务器的ip地址、数据库名字、端口号、用户名、密码，点击测试，查看链接是否成功
2.输入一个目标表的名字
3.如果这个表不存在，那么点击SQL按钮，让kettle帮你自动的创建这个表格
4.勾选指定数据库字段
5.如果有清空表格的需求，那么可以勾选裁剪表，这个选项就是 truncate table的意思
6.点击数据库字段页面，点击获取字段，并且确定