背景:
Kettle是实现ETL操作的工具
ETL抽取,转换,加载。将数据从来源段,抽取,转换,加载的过程
安装:
1、安装jdk环境
2、安装kettle: hps://sourceforge.net/projects/pentaho/files/下载
操作:
1、txt转换为excel
第一步:新建转换
第二步:构建kettle数据流图
用鼠标左键,单击要操作指令,拖入右边空白处即可。 按住Shift键,点击文本文件输入组件,移动鼠标 到Excel输出,然后释放鼠标,这样就可以将两个组件连接到一起。
第三步:配置文本文件输入组件
双击文本文件输入图表
点击浏览选择,文本文件。点击增加,抽取数据。
点击内容,修改分隔符,修改编码方式
点击字段:点击获取字段
第四步:配置excel输出
双击Excel输出图标
点击浏览,设置输出路径
点击字段,获得字段
第五步:保存,并启动执行
2、Excel转换为Mysql
第一步:在Myqal数据库中创建一个数据库,后续Excel中的数据会装载到该数据库的表中。
第二步:在kettle中加载mysql驱动
第三步:构建Excel输出,表输入流程
第四步:配置Excel输出组件
1、设置表格类型
2、浏览、增加要转换的文件
3、在工作表中,选择可用项目,按>移动到右边、
4、点击字段,点击获取来自头部数据的字段按钮,Kettle会从Excel中读取第一行字段名称,然后点击确定。
第5步:配置mysql组件
1、 双击mysql输出,点击新建
2、 配置mysql连接
3、 测试连接,确认保存
4、 输入目标表名称,后续kettle在mysql里建表
5、 点击下方的SQL按钮,可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句,然后在弹出的窗口中点击执行
6、 确认、保存、执行
3、mysql数据库表之间的转换
第一步:构建Kettle数据流图,表输入,表输出
第二步:配置值表输入组件
1、点击获取sql查询语句
2、选择 t_user 表,点击确定
第三步:配置表输出组件
1、 双击输出表,设置目标表的名称
2、 点击下面的sql,让kettle中自建表结构
3、 确认、保存、执行
4、作业开发
第一步:点击新建/作业
第二步:构建数据流图
在通用中选择,start、转换、成功,并按住shift依次连接起来
第三步:配置转换组件
双击转换,首先保存作业然后浏览添加转换组件
第四步:配置start组件
设置类型,时间间隔,点击确定
第五步:保存运行