Kettle简单操作

背景:

Kettle是实现ETL操作的工具
ETL抽取,转换,加载。将数据从来源段,抽取,转换,加载的过程

安装:

1、安装jdk环境
2、安装kettle: hps://sourceforge.net/projects/pentaho/files/下载

操作:

1、txt转换为excel

第一步:新建转换
在这里插入图片描述
第二步:构建kettle数据流图
用鼠标左键,单击要操作指令,拖入右边空白处即可。 按住Shift键,点击文本文件输入组件,移动鼠标 到Excel输出,然后释放鼠标,这样就可以将两个组件连接到一起。
在这里插入图片描述
在这里插入图片描述
第三步:配置文本文件输入组件
双击文本文件输入图表
点击浏览选择,文本文件。点击增加,抽取数据。
点击内容,修改分隔符,修改编码方式
点击字段:点击获取字段
在这里插入图片描述
第四步:配置excel输出
双击Excel输出图标
点击浏览,设置输出路径
点击字段,获得字段
第五步:保存,并启动执行

2、Excel转换为Mysql

第一步:在Myqal数据库中创建一个数据库,后续Excel中的数据会装载到该数据库的表中。
第二步:在kettle中加载mysql驱动
第三步:构建Excel输出,表输入流程
第四步:配置Excel输出组件
1、设置表格类型
在这里插入图片描述
2、浏览、增加要转换的文件
3、在工作表中,选择可用项目,按>移动到右边、
在这里插入图片描述
4、点击字段,点击获取来自头部数据的字段按钮,Kettle会从Excel中读取第一行字段名称,然后点击确定。
在这里插入图片描述
第5步:配置mysql组件
1、 双击mysql输出,点击新建
2、 配置mysql连接
在这里插入图片描述
3、 测试连接,确认保存
4、 输入目标表名称,后续kettle在mysql里建表
在这里插入图片描述
5、 点击下方的SQL按钮,可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句,然后在弹出的窗口中点击执行
6、 确认、保存、执行

3、mysql数据库表之间的转换

第一步:构建Kettle数据流图,表输入,表输出
第二步:配置值表输入组件
1、点击获取sql查询语句
在这里插入图片描述
2、选择 t_user 表,点击确定
在这里插入图片描述
第三步:配置表输出组件
1、 双击输出表,设置目标表的名称
在这里插入图片描述
2、 点击下面的sql,让kettle中自建表结构
3、 确认、保存、执行

4、作业开发

第一步:点击新建/作业
在这里插入图片描述
第二步:构建数据流图
在通用中选择,start、转换、成功,并按住shift依次连接起来
在这里插入图片描述
第三步:配置转换组件
双击转换,首先保存作业然后浏览添加转换组件
第四步:配置start组件
设置类型,时间间隔,点击确定
在这里插入图片描述
第五步:保存运行

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle9是一个数据集成和ETL工具,由Kettle项目开发而来。它提供了可视化的界面,使用户能够通过简单的拖拽和配置来设计数据转换和处理的工作流程。Kettle9支持多种类型的数据源,包括关系型数据库、文件、Web服务等,可以方便地对数据进行抽取、清洗、转换和加载等操作。 而kettle-scheduler是基于Kettle9的调度器组件,它提供了一套功能丰富的调度管理和监控机制,可以用于定时执行和控制Kettle9的作业和转换任务。通过kettle-scheduler,用户可以灵活地设置作业的运行时间、频率和触发条件,也可以监控作业的执行状态和运行日志。 kettle-scheduler的核心功能包括以下几个方面: 1. 作业调度管理:kettle-scheduler可以根据用户的需求,设置和管理Kettle9作业的调度计划,包括作业的触发时间、频率、依赖关系等。用户可以设定一次性的任务,也可以设置周期性的任务,以满足不同的业务需求。 2. 作业监控和报警:kettle-scheduler可以实时监控作业的执行状态和运行日志,当作业运行出现异常或错误时,可以及时发送报警通知给相关人员,以便及时处理和修复。 3. 作业并发控制:kettle-scheduler可以设置作业的并发执行数量,以控制任务的同时运行数量,避免资源的过度占用和冲突。 总之,kettle9和kettle-scheduler是一套强大的数据集成和调度管理工具,能够帮助用户更高效、灵活地处理和管理数据任务,提高数据的处理效率和准确性。同时,它的可视化界面和丰富的功能也使得用户操作起来更加简单和便捷。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值