![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
文章平均质量分 93
矛始
好记性 + 烂笔头
展开
-
kettle5.3扩展step插件支持元数据注入
1. 前言虽然说kettle提供了可视化的操作界面,但对于一些共有相同功能的ETL流程我们不希望每次都在spoon上面拖拉组件去创建流程,感觉比较繁琐,所以在基于kettle做二次开发的时候希望可以把相同类型的流程提取成公共的模板,每次只需要把不同的参数传入到插件里面即可实例化成不同的模板作业,kettle的插件式设计很符合我们的需求,它提供的变量设置、获取以及元数据注入组件基本能满足工们所有的功能...原创 2017-07-10 13:54:39 · 9572 阅读 · 2 评论 -
kettle5.3实现元数据注入的转换以集群模式运行
1. 背景基于kettle进行二次开发时,想做一些比较通用的kettle作业,何为通用,例如要将A表数据迁移到B表,C表的数据迁移到D表,常规就是在spoon建两个作业(表输入->表输出),如果做到通用,那么就是建一个作业(表输入->表输出),然后在运行作业的时候把一些配置参数(数据库连接、源表名、目标表名、字段映射等)作为变量的形式传入,在作业运行的过程中利用元数据注入组件(MetaInject)...原创 2016-11-18 09:23:56 · 11617 阅读 · 6 评论 -
kettle插件加载流程
前言kettle遵循着插件机制,基于插件使得kettle整个结构非常清晰,耦合性低,移植性强,特别是对kettle进行二次开发尤其方便,根据了解,扩展step类型的插件比较多,具体步骤可以参考:http://blog.csdn.net/d6619309/article/details/50020977 。通过了解插件的加载流程,不仅kettle的原理有深一层的认识,还有助于在进行二次开发遇到问题的...原创 2016-10-28 16:07:30 · 14755 阅读 · 1 评论 -
kettle环境初始化
背景程序启动时会初始化kettle的运行环境,例如,spoon启动时main方法就会调用KettleEnvironment.init()来为spoon的运行环境作初始化。通过KettleEnvironment.init()来初始化环境时,会读取属性文件、注册插件等,以init()方法为切入点,调试了一下源码,大概整理了一下脉络,并简单记录下来:步骤调用KettleClientEnvironment...原创 2016-10-28 15:02:58 · 12524 阅读 · 0 评论 -
kettle调试远程执行的作业
背景在使用ftp下载插件时,发现进行本地执行时可以正常,但当选择了远程执行并指定了远程服务器后发现出现了错误:从 FTP:User cannot log in. 获取文件时发生错误。根据错误信息可以判断是因为ftp登录不上的原因,至于具体的原因无法定位,为了一探究竟,于是便萌生了调试远程作业的想法,顺便深入了解一下了解kettle运行原理以及源码学习。思路carte服务器实际上就是一个web ser......原创 2016-10-28 14:57:21 · 19592 阅读 · 5 评论 -
kettle5.3批量插入impala
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I......原创 2018-06-11 16:28:22 · 15989 阅读 · 5 评论