java通过kettle的API调用已经创建好的转换(transformation)或任务(job)

目前在做一个项目,需要用到数据清洗,因为kettle是开源的,所以就选择了它。目前遇到的困难是,在创建好转换(transformation)或任务(job)后,需要集成到java代码中,以便和其他功能结合。由于网上很多例子的kettle版本是4.x以及5.0左右的,而kettle 6.0版本较之前有了很大改动,这些java代码已经不适合用于kettle 6.0了。经过在网上查资料、加QQ群询问以及在论坛里查找资料和提问之后,终于解决了如何让java通过kettle 6.0版本调用转换和job。

1,需要哪些jar包


kettle开头的包都需要,也许这个项目有些包不用,但最好加进去。另外guava、metastore和mysql-connector包也是必须的,不然程序会报错。其他包自己看着加入吧

2,在spoon上创建转换或job

在这里就不叙述了,我有时间会在另一篇博客中记录如何使用spoon上的控件创建转换和job。有需要可以看看。


3,java代码示例

<span style="font-size:18px;">package com.fan.custom;

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

public class ExistTrans {

	public static void runTransformation() {
		try {
			String filename = "C:\\Users\\Francis\\Desktop\\table.ktr";
			// StepLoader.init();
			// EnvUtil.environmentInit();
			KettleEnvironment.init();
			TransMeta transMeta = new TransMeta(filename);
			Trans trans = new Trans(transMeta);

			trans.execute(null); // You can pass arguments instead of null.
			trans.waitUntilFinished();
			if (trans.getErrors() > 0) {
				throw new RuntimeException(
						"There were errors during transformation execution.");
			}
		} catch (KettleException e) {
			// TODO Put your exception-handling code here.
			System.out.println(e);
		}
	}

	public static void main(String[] args) {

		runTransformation();
	}
}
</span>


  • 5
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
可以通过Java程序调用KettleAPI来向JobTransformation传递参数。以下是一个示例代码: ```java import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.variables.Variables; import org.pentaho.di.repository.Repository; import org.pentaho.di.repository.RepositoryDirectoryInterface; import org.pentaho.di.repository.kdr.KettleDatabaseRepository; import org.pentaho.di.trans.Trans; import org.pentaho.di.trans.TransMeta; import org.pentaho.di.trans.TransParameterCodec; import java.util.HashMap; import java.util.Map; public class KettleJobCaller { public static void main(String[] args) throws KettleException { KettleEnvironment.init(); String repositoryName = "MyRepository"; String username = "admin"; String password = "password"; String jobName = "MyJob"; String transformationName = "MyTransformation"; String[] parameters = new String[]{"param1=value1", "param2=value2"}; Repository repository = new KettleDatabaseRepository(); repository.init(repositoryName, username, password); RepositoryDirectoryInterface directory = repository.loadRepositoryDirectoryTree().findDirectory("/my/directory"); Variables variables = new Variables(); variables.setParameters(parameters); TransMeta transMeta = repository.loadTransformation(transformationName, directory, variables, null); Trans trans = new Trans(transMeta); trans.execute(null); String[] encodedParameters = TransParameterCodec.encodeParams(parameters); Map<String, String> paramMap = new HashMap<>(); for (String encodedParameter : encodedParameters) { String[] split = encodedParameter.split("="); paramMap.put(split[0], split[1]); } JobMeta jobMeta = repository.loadJob(jobName, directory, variables, null); Job job = new Job(repository, jobMeta, variables); job.setVariables(variables); job.setParams(paramMap); job.start(); job.waitUntilFinished(); } } ``` 在上面的示例代码中,我们首先初始化Kettle的环境,然后指定仓库名称、用户名、密码、Job名称和Transformation名称。接下来,我们将要传递的参数存储在一个字符串数组中,并将它们传递给TransformationJob。在传递参数时,我们需要使用变量来存储它们。 最后,我们使用KettleAPI来加载TransformationJob,并将参数传递给它们。注意,我们需要使用TransParameterCodec来编码和解码参数。 这就是如何使用Java调用Kettle Job并传递参数的示例代码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值