详解kettle数据同步-图文
kettle版本:6.0,下载地址:http://sourceforge.net/projects/pentaho/files/Data%20Integration/6.0/
下载完成解压
需要在本地启动一个spoon.bat 刚刚解压的kettle压缩包 在window linux也是可以使用
然后编写ktr文件
目前需求是将某个库的数据导入到某张表当中
创建表输入步骤
然后创建插入更新
然后运行 查看数据 如果成功 说明这个ktr文件 编写成功
接着编辑kjb文件
创建一个start
这是可视化工具执行,那么命令执行 首先进入到data-integration文件夹下
启动定时
然后
.................
服务器执行
上传 解压
解压完成后今天kettle 创建logs shell job文件夹
job中存放不同脚本的文件,不用类型的脚本存放到不同的文件夹中,方便以后的管理和更新。
Shell中存放的是执行job中kjb文件的shell脚本,需要自己编写,shell执行过程中会将log日志输出到logs中(需要自己设置)。
Logs中存放shell脚本执行输出的日志。
接下来需要给kettle中data-integration中的所有.sh文件赋权
然后执行 kettle.sh文件 可以看到上面出现 -rep,-user,-pass 这些kettle中的帮助信息,说明kettle部署成功!
然后
步骤:
首先下载安装绿色版。直接使用
打开Spoon 直接就有一个可视化界面
接下来就是画图咯
创建一个新的transformation,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestTrans,kettle默认transformation文件保存后后缀名为ktr;
创建一个新的job,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb;
接下来就通过命令启动 Kitchen.bat /file kjb文件路径 日志路径
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,
转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,
在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,
减少了非常多的研发工作量,提高了我们的工作效率,不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。
1、Kettle描述
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。