详解kettle数据同步-图文

详解kettle数据同步-图文

JAVA_DSZ

kettle版本：6.0,下载地址：http://sourceforge.net/projects/pentaho/files/Data%20Integration/6.0/

下载完成解压

需要在本地启动一个spoon.bat  刚刚解压的kettle压缩包 在window linux也是可以使用

然后编写ktr文件

目前需求是将某个库的数据导入到某张表当中

创建表输入步骤

然后创建插入更新


然后运行 查看数据 如果成功 说明这个ktr文件 编写成功


接着编辑kjb文件

 

 

创建一个start








这是可视化工具执行，那么命令执行  首先进入到data-integration文件夹下


启动定时

然后


.................

 

服务器执行

 

上传 解压

解压完成后今天kettle 创建logs shell  job文件夹

job中存放不同脚本的文件，不用类型的脚本存放到不同的文件夹中，方便以后的管理和更新。
Shell中存放的是执行job中kjb文件的shell脚本，需要自己编写，shell执行过程中会将log日志输出到logs中（需要自己设置）。
Logs中存放shell脚本执行输出的日志。

接下来需要给kettle中data-integration中的所有.sh文件赋权

然后执行 kettle.sh文件  可以看到上面出现 -rep,-user,-pass 这些kettle中的帮助信息，说明kettle部署成功！

然后


步骤：
    首先下载安装绿色版。直接使用
    打开Spoon 直接就有一个可视化界面
    接下来就是画图咯 
    创建一个新的transformation，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr；
    创建一个新的job，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb；
    接下来就通过命令启动     Kitchen.bat /file   kjb文件路径  日志路径


ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，
转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，
在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，
减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。


1、Kettle描述
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。