
Kettle
-
原创
Java kettle程序执行 kettle文件
[size=medium][color=red]Java执行本地ktr文件和kjb文件[/color][/size] [code="java"] package com.cmbchina.mms.comm.kettle; import java.io.File; import org.pentaho.di.core.KettleEnvironment; import org....2015-07-16 15:04:48 阅读数 39 评论数 0 -
原创
kettle 命令行运行作业(kitchen)和转换(pan)以及一路下来编写的例子
ze] [size=small][b]1.Kitchen——作业执行器[/b][/size] 是一个[color=blue]作业[/color]执行引擎,用来[color=red]执行作业[/color]。这是一个命令行执行工具, 参数说明如下 1) -rep:Repositoryname 任务包所在存储名 2) -user:Repositoryusername 执行人 3) -pass:Repositorypassword 执行人密码 4) -job:Thenameofthejobtola2015-11-17 10:34:55 阅读数 25 评论数 0 -
原创
Kettle 合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
比较、合并。[/color][/size] 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源。新数据来源的步骤 标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。 [color=blue]1. “identical” – 旧数据和新数据一样 2. “changed” – 数据发生了变化; 3. “new” – 新数据中有而旧数据中没有的记录 4. “deleted” –旧数据中有而新数据中没有的记录[/color]2015-09-24 14:40:20 阅读数 23 评论数 0 -
原创
Kettle 流查询,数据库查询和Merge Join的区别
在查询之前把数据都加载到内存里,数据库查询可以选择是否把数据加载到内存。[/color] •进行等值查询时,数据库查询步骤如果选中了全部缓存,性能接近但仍不如流查询的性能。 •进行等值查询时,数据库查询步骤如果没选中全部缓存,性能较低,每次查询都要向数据库发送一个SQL 查询请求。 [color=red]•进行非等值查询时,数据库查询即使选中了全部缓存,性能也较低,没有索引在内存中通过循环查询。[/color] •数据库查询的缓存适用于多次查询返回同一个查询结果的情况(集中式),[c2015-07-17 15:04:21 阅读数 44 评论数 0 -
原创
Kettle 调用存储过程
] CREATE OR REPLACE PROCEDURE JOBTEST(CCX OUT NUMBER) AS BEGIN CCX:=88 ; DBMS_OUTPUT.PUT_LINE(CCX); END ; [/code] [color=red]前一个步骤需要指定参数 CCX [/color] [img]http://dl2.iteye.com/upload/attachment/0110/2310/7197c9cc-133b-3fd2-a011-ca2015-07-17 10:53:39 阅读数 128 评论数 0 -
原创
Kettle 参数、变量和全局变量(kettle.properties)使用
直接在里面定义,([color=red]注意这个文件需要与spoon.bat放在同一个目录下面[/color])比如: paramName=to_char(sysdate,'yyyymmdd') 这里[color=red]支持数据库函数[/color], 说的更直白点,就是这里定义是个啥,那么在transformation里边取到的它就是啥。 2.定义之后,保存,重启spoon。 3.在需要的地方,直接[color=red]%%paramName%%[/color],或者[color=2015-07-16 15:52:40 阅读数 19 评论数 0 -
原创
Kettle注意事项
2015-07-16 15:32:44 阅读数 5 评论数 0 -
原创
Kettle初步学习
--在不同应用或数据库之间整合数据 --把数据库中的数据导出到文本文件 --大批量数据装载入数据库 --数据清洗 --集成应用相关项目是个使用 [size=medium][color=red] kettle使用非常简单,通过图形界面设计实现做什么业务,无需写代码去实现,因此,kettle是以面向元数据来设计;[/color][/size] kettle支持很多种输入和输出格式,包括文本文件,数据表,以及商业和免费的数据库引2015-07-16 15:29:32 阅读数 8 评论数 0 -
原创
Java kettle程序执行 kettle文件
ment; import org.pentaho.di.core.database.DatabaseMeta; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.util.EnvUtil; import org.pentaho.di.job.Job; import org.pentaho.di.job.JobMeta; import org.pentaho.di.repository.2015-07-16 15:04:48 阅读数 22 评论数 0 -
原创
Kettle 数据库连接采用文本文件进行配置
[size=medium][color=red]kettle.properties文件中定义[/color][/size],文件的路径默认如下: [code="txt"] $HOME/.kettle (Unix/Linux/OSX) C:\Documents andSettings\\.kettle\ (Windows) C:\Users\\.kettle\(Windows V...2016-01-29 10:29:09 阅读数 33 评论数 0 -
原创
kettle 命令行运行作业(kitchen)和转换(pan)以及一路下来编写的例子
Kettle好的论坛:[url]http://www.flybi.net/category/31[/url] BI教程学习地址:[url]http://www.hellobi.com/course/37[/url] [size=medium][color=red]Kettle 命令行使用说明[/color][/size] [size=small][b]1.Kitchen——作业执行器...2015-11-17 10:34:55 阅读数 31 评论数 0 -
原创
Kettle 合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
[size=large][color=red]该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。[/color][/size] 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源。新数据来源的步骤 标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。 [c...2015-09-24 14:40:20 阅读数 123 评论数 0 -
原创
Kettle 流查询,数据库查询和Merge Join的区别
[color=red]他们的主要区别:[/color] [color=blue]•流查询步骤只能进行等值查询[/color],数据库查询步骤可以进行非等值查询 [color=blue]•流查询在查询之前把数据都加载到内存里,数据库查询可以选择是否把数据加载到内存。[/color] •进行等值查询时,数据库查询步骤如果选中了全部缓存,性能接近但仍不如流查询的性能。 •...2015-07-17 15:04:21 阅读数 49 评论数 0 -
原创
Kettle 调用存储过程
不带参数的存储过程可以直接使用“[color=red]调用DB存储过程[/color]”控件,将存储过程名称配置进去即可。 [color=red]带返回值的参数[/color] [code="sql"] CREATE OR REPLACE PROCEDURE JOBTEST(CCX OUT NUMBER) AS BEGIN CCX:=88 ; DBM...2015-07-17 10:53:39 阅读数 248 评论数 0 -
原创
Kettle 参数、变量和全局变量(kettle.properties)使用
[color=red]有没有能统一管理一个参数,然后让所有的transformation和job都可以读到呢? 答案是有[/color] 1.首先,打开.kettle\[color=blue]kettle.properties[/color],直接在里面定义,([color=red]注意这个文件需要与spoon.bat放在同一个目录下面[/color])比如: paramName=to...2015-07-16 15:52:40 阅读数 81 评论数 0 -
原创
Kettle注意事项
[size=medium][color=red]注意事项[/color][/size] 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log...2015-07-16 15:32:44 阅读数 28 评论数 0 -
原创
Kettle初步学习
[color=red]kettle是一个ETL(Extract, Transform and Load 抽取、转换、载入)工具,ETL工具在数据仓库项目使用非常频繁[/color],kettle也可以应用在以下一些场景: --在不同应用或数据库之间整合数据 --把数据库中的数据导出到文本文件 --大批量数据装载入数据库 --数据清洗 --...2015-07-16 15:29:32 阅读数 23 评论数 0 -
原创
Kettle 数据库连接采用文本文件进行配置
C:\Users\\.kettle\(Windows Vista) [/code] [size=medium][color=red]kettle.properties文件中定义全局变量[/color][/size] 打开文件,直接在里面定义,[color=blue]如: TODAY=to_char(sysdate,'yyyy-mm-dd'),这里支持数据库函数,说的更直白点,就是这里定义是个啥,那么在transformation里边取到的它就是啥。[/color]在需要的地方,[col2016-01-29 10:29:09 阅读数 25 评论数 0