Kettle简介:Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。--摘自百度知道
应用中集成Kettle:由于项目中使用,现在介绍最简单的集成方式,使用Spoon设计好transformation和job后,在java程序中执行transformation和job
执行transformation:代码很简单,创建Trans并执行就可以
public void executeTrans(String transFileName) throws KettleException{
EnvUtil.initEnviroment();
StepLoader.init();
TransMeta transMeta = new TransMeta(transFileName);
Trans trans = new Trans(transMeta );
trans.execute();
trans.waitUtilFinished()
}
执行job:代码也很简单,创建job并执行就可以
public void executeJob(String jobFileName) throws KettleException{
EnvUtil.initEnviroment();
JobEntryLoader.init();
StepLoader.init();
LogWriter log = LogWriter.getInstance();
JobMeta jobMeta = new JobMeta(log,jobFileName,null);
Job job = new Job(jobMeta,log);
job.execute();
job.waitUtilFinished()
}
说明:
- 使用transformation时,可以通过Trans,获取其中的每个step,可以为Step添加一个StepListener,这样可以对Step中的数据进行相应的处理,例如如果要获取其中的数据。
- 同样的方式可以用于Job,以此来扩充Kettle,定制自己的业务逻辑
- 执行时可以选择带参数的重载版本,将参数传递到Kettle