kettle
文章平均质量分 54
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
原飞木
Java开发工程师
展开
-
Kettle使用脚本实现循环(十)
kettle中没有循环的控件,我们可以使用JavaScript脚本来实现这个功能案例:从一个接口中获取数据,然后使用循环一条一条的插入数据库中流程从接口中获取数据可以参考https://blog.csdn.net/BushQiang/article/details/90049200返回的接口数据循环初始判断var prevRow=previous_result.getRows()...原创 2019-05-16 15:41:28 · 5348 阅读 · 0 评论 -
Kettle使用接口获取数据(九)
Kettle使用接口获取数据原创 2019-05-12 09:52:11 · 24718 阅读 · 20 评论 -
基于变量方式实现kettle快速循环迁移表数据(八)
流程任务:从blog同步数据到blog2里面blog里面有四张表,blog2里面有四张表但是没有数据1.创建一个作业,从右边拉取这些2.创建一个转换,用来获取需要同步的表名3.自定义常量数据4.同步数据的作业创建如下把结果变成变量的转换设置变量,点击获取字段就可以了同步数据,主要就是把传来的表名遍历表输入表输出需要注意的地方是需要勾选这里,不然不会遍历...原创 2019-05-07 20:16:15 · 2314 阅读 · 4 评论 -
Kettle查询与连接(七)
查询流查询字典数据完全加载到内存后,在内存中查询,速度快,占内存。只支持“等于”的查询。 (不支持大于,小于等方式)如果匹配上多条,只保留最后一条。如果没有匹配上,新增的字段值为NULL。如果字典key和要查询的value都是integer,可以选中Keyand value are exactly one integer field,节省内存。Use sorted list:当比...原创 2019-05-07 11:07:49 · 1731 阅读 · 0 评论 -
Kettle流程步骤与应用步骤(六)
作用 流程主要用来控制数据流程与数据流向应用则是提供一些工具类流程数据过滤switch/case:一路到多路,支持字符串,数值,日期过滤记录:一路到两路,支持字符串,数值,日期根据java代码过滤记录,name表示字段,再配上java的代码。流程步骤-处理不确定行数的数据检测空流用来检测前面过来的流是否是空流;阻塞数据只要最后一行多数据源合并使用的是UNION进行合并...原创 2019-05-06 20:57:59 · 2472 阅读 · 1 评论 -
Kettle转换步骤(五)
转换步骤分类:增加新的列字符串处理行列变换排序/排重/字段选择增加新的列使用比较简单,直接填写新增的字段计算器的使用字符串拆分字符串合并字符串替换值映射:对数值进行映射,例如经典的性别1 0映射为男 女:字符串其它转换字符串操作:可以进行字符串转义(例如> 转义为 >)、保留/去除字符串里的数字、移除特殊字符、补充长度行列变换图示如...原创 2019-05-06 08:51:20 · 1694 阅读 · 0 评论 -
Kettle输出步骤(四)
数据库表: • 表输出 • 更新,删除,插入/更新 • 批量加载(mysql,oracle) • 数据同步表输出数据库配置乱码问题需要进行设置下高级-》添加set names utf8选项-》添加参数characterEncoding utf8defaultFetchSize 500useCoursorFetch truechar...原创 2019-05-05 21:27:45 · 1283 阅读 · 0 评论 -
Kettle输入步骤(三)
输入步骤主要分为以下几类:生成记录/自定义常量表输入文本文件输入XML 文件输入Json输入其他输入步骤生成记录数,每行的数据都一样,点击预览就可以查看自定义常量数据,在元数据定义字段,数据里面填充就可以每行都不一样表输入表输入是比较常见的输入方式,通过执行SELECT语句,从数据库拉取输入数据可以使用${}形式使用变量,如果使用?变量,要求前面步骤传过来的参数需要...原创 2019-05-05 17:43:11 · 1978 阅读 · 2 评论 -
Kettle资源库运行方式(二)
kettle资源库资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。1.ketle资源库元数据• 资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转...原创 2019-05-05 17:16:44 · 1728 阅读 · 0 评论 -
Kettle入门(一)
概念Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。更多介绍,参考kettle中文网:http://www.kettle.net.cn/2.kettle四大家族Chef(中文:厨师)、Kitchen(中文:厨...原创 2019-05-05 15:15:02 · 1387 阅读 · 0 评论