最近在使用kettle这个工具,如果你看到我这篇文章,那么你一定是寻找相关工具或者正在使用,而本文的适用对象是使用此工具的新手或者想了解一些关于kettle的人群,如果你对此工具应用比较熟练,发现文章中的错误请告知我,我会尽快修改避免误导他人,感谢你的建议和阅读
软件的安装:
http://mirror.bit.edu.cn/pentaho/Data%20Integration/
通过上面的镜像地址 或者 kettle 官方网站下载
下载完成后得到 data-integration.zip
这个就是kettle的客户端,在win环境下可以使用图形化界面,下面我们将会从图形化界面入手.
运行kettle需要jdk环境,此处不再赘述,如果遇到无法打开的情况,请先百度一下解决环境问题.
一:kettle的图形化介绍
kettle图形化界面中有两个东西:一个叫作业(job),另一个叫转换(Spoon)
作业承载的是步骤比如: 开始 --> 查询 --> 更新 -->结束
上图就是一个作业的流程
而在作业中的查询,具体怎么查比如,从A库查询A表的结果连接B库查询的B表结果得到结果C,实现具体步骤的就是转换
上图就是一个从不同库查询后得到最终链接查询的结果转换
二:kettle的初步使用
1.配置数据库链接
在左侧导航中的主对象树中新建DB连接
选取要连接的数据库和填写数据库信息,这一步非常简单.
2.从转换开始的简单插入数据
我们接下来做的是从A库的A表中导入数据到B库的B表中,首先我们先新增一个转换
配置好该转换的A.B两个库
在左侧导航栏中的核心对象的输入中找到表输入拖动到右侧主页中
选择数据库链接和写好sql语句
可以点击预览查看结果
现在在左侧导航栏中找到表输出
配置好目标数据库链接和准备导入的目标表
下面数据库字段代表AB表项虎映射的字段,也就是从A表的name导入到B表的b_name字段的意思
点击左上角的三角符号,运行
如果得到以下结果.则证明数据同步成功可以查看数据库查看同步结果
通过以上的操作我们得到了一个转换,那么现在我们来在作业中使用这个转换
新建一个作业
我们接下来做一个从A库的A表增量到B库的B表
大概是这样一个流程
我们添加一个转换,双击这个转换
选择刚才我们做的转换文件
然后再新建一个转换文件(不是作业中的转换步骤)
这里新建一个表输入
在这个表输入的sql语句中我查询了B表的最新的一条数据的create_time作为增量刻度
在左侧导航栏中找到设置变量
新建一个设置变量
这里相当于我们得到了一个KEY为CRAETE_TIME,VALUE为我们从表中得到的值的键值对,接下来我们会使用到他
回到一开始我们已经写好的转换(从A到B)
打开A表的表输入
在这个sql 语句中我们可以看见,我使用了这个变量(CRAETE_TIME)作为查询条件,
再来看我们的作业
开始 ---- 从B表中获取最新的时间参数(变量:CRAETE_TIME), 在A表的转换sql中查询比这个参数更新的数据同步到B表中
点击运行
得到如下结果.代表成功
这便是一个简单的作业转换流程.
三,使用中可能遇见的问题
接下来要讲述的是我在使用中遇见的一些问题
问题一:kettle每次新建作业或者新建转换都要配置一次数据库链接吗
回答:不用,你可以通过共享,这样就只用配置一次,其他的作业或者转换都能使用到这个数据库链接
不过这里会有个问题,目前笔者没有解决而是绕过去了
有些人可能会觉得方便易读,数据库链接会使用中文命名,而在共享过后,程序一直在报错,这是因为在share.xml中中文名称乱码的问题,所以笔者把数据库链接改为数字或者英文就不会报错了.
关于怎么解决这个问题,可以百度,kettle共享数据库报错.
这里引用一篇其他人的文章: https://blog.csdn.net/huangyanlong/article/details/44801727
作者信息:
深蓝的blog：http://blog.csdn.net/huangyanlong/article/details/44801727
问题二:kttle是否能在linux上使用
回答:是的.在linux上使用将会在下一篇博客中详细介绍
问题三:乱码问题
回答:在作业设置中设置 命名参数 characterEncoding utf-8
问题五:使用环境变量时,sql语句不生效,导致查询出来的结果不匹配的原因
在设置转换时.记得勾选 替换sql语句的变量.否则不生效
文章首发于微信公众号：java企业级应用(WaXiData)
312
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
