![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BI
文章平均质量分 69
木大白易
我用双手成就你的梦想!
展开
-
开源ETL工具kettle系列之常见问题
摘要本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案问题Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做. 这是转载 2016-08-08 10:55:36 · 2010 阅读 · 0 评论 -
开源ETL工具kettle系列之在应用程序中集成
摘要本文主要讨论如何在你自己的Java应用程序中集成Kettle集成如果你需要在自己的Java应用程序中集成Kettle , 一般来说有两种应用需求,一种是通过纯设计器来设计ETL转换任务,然后保存成某种格式,比如xml或者在数据库中都可以,然后自己调用程序解析这个格式,执行这种转换,是比较抽象的一种执行方式,ETL里面转换了什么东西我们并不关心,只关心它有没有正常执行。另一种是通过完全编程的方式来转载 2016-08-08 11:10:37 · 5376 阅读 · 1 评论 -
开源ETL工具kettle系列之增量更新设计
前言ETL中增量更新是一个比较依赖与工具和设计方法的过程,Kettle中主要提供Insert / Update 步骤,Delete 步骤和Database Lookup 步骤来支持增量更新,增量更新的设计方法也是根据应用场景来选取的,虽然本文讨论的是Kettle的实现方式,但也许对其他工具也有一些帮助。应用场景增量更新按照数据种类的不同大概可以分成: 1. 只增加,不更新, 2. 只更新,不增加转载 2016-08-08 11:23:35 · 8878 阅读 · 2 评论 -
开源ETL工具kettle系列之动态转换
摘要本文主要讨论使用Kettle来设计一些较为复杂和动态的转换可能使用到的一些技巧,这些技巧可能会让你在使用Kettle的时候更加容易的设计更强大的ETL任务。动态参数的传递Kettle 在处理运行时输入参数可以使用JavaScript 来实现,大部分工作只是按照一个模板来处理的。 动态参数传递主要使用在像数据清理,调式,测试,完成复杂的条件过滤等等,这种方式一般不会在产品已经运行稳定了一段时间之转载 2016-08-08 11:30:58 · 2798 阅读 · 0 评论 -
开源ETL工具kettle系列之建立缓慢增长维
摘要本文主要介绍使用kettle 来建立一个Type 2的Slowly Changing Dimension 以及其中一些细节问题Kettle 简介Kettle 是一个强大的,元数据驱动的ETL工具被设计用来填补商业和IT之前的差距,将你公司的数据变成可增长的利润. 我们先来看看Kettle能做什么: 1. Data warehouse population with built-in supp转载 2016-08-08 11:51:22 · 2442 阅读 · 0 评论 -
Kettle使用中的四个小问题
连接不上资源库报错:ERROR: No repository provided, can’t load job. ERROR: Kitchen can’t continue because the job couldn’t be loaded.出现这个错误呢,一般来说就是读取资源库的配置出了问题,而且图形界面打开运行没有问题,使用命令行执行资源库中job就出错! 比如,我在一脚本中,使用kettl原创 2017-11-15 14:14:55 · 10893 阅读 · 1 评论