Java项目中使用Kettle，在java中使用kettle的API，此处以表输入为例

最新推荐文章于 2024-08-30 16:39:44 发布
最新推荐文章于 2024-08-30 16:39:44 发布
阅读量1.5k 收藏 6
点赞数
文章标签： java 数据库 操作系统
原文链接：https://my.oschina.net/zhcheng/blog/1596841
版权 

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.RowMetaAndData;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.core.exception.KettleStepException;
import org.pentaho.di.core.row.RowMetaInterface;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransHopMeta;
import org.pentaho.di.trans.TransMeta;
import org.pentaho.di.trans.step.RowListener;
import org.pentaho.di.trans.step.StepInterface;
import org.pentaho.di.trans.step.StepMeta;
import org.pentaho.di.trans.steps.dummytrans.DummyTransMeta;
import org.pentaho.di.trans.steps.insertupdate.InsertUpdateMeta;
import org.pentaho.di.trans.steps.tableinput.TableInputMeta;

/**
 * 使用kettle从一张表读取数据，对另一张表进行插入更新操作
 * @author zhanghc
 *
 */
public class TableInput {
	
	public static void main(String[] args) throws KettleException {
		TableInput t = new TableInput();
		t.read();
	}
	
	private static String STEP_READ_FROM_TABLE = "Read data from table";
	private static String STEP_INSERT_UPDATE = "Insert or update";
	private static String STEP_DUMMY = "Dummy";

	public void read() throws KettleException {
		KettleEnvironment.init();
		
		TransMeta transMeta = new TransMeta();
		transMeta.setName("数据同步");
		
		//添加数据连接
		DatabaseMeta dataBaseInput = new DatabaseMeta("Input", "Mysql", "Native", "127.0.0.1", "kettletask", "3306", "root", "root");
		DatabaseMeta dataBaseOutput = new DatabaseMeta("Output", "Mysql", "Native", "127.0.0.1", "kettletask", "3306", "root", "root");
		transMeta.addDatabase(dataBaseInput);
		transMeta.addDatabase(dataBaseOutput);
		
		//表输入
		TableInputMeta tableInputMeta = new TableInputMeta();
		tableInputMeta.setDatabaseMeta(transMeta.findDatabase("Input"));
		tableInputMeta.setSQL("SELECT * FROM task");
		
		StepMeta inputStep = new StepMeta(STEP_READ_FROM_TABLE,tableInputMeta);
		inputStep.setLocation(50,50);
		inputStep.setDraw(true);
		transMeta.addStep(inputStep);
		
		//出入更新
		InsertUpdateMeta insertUpdateMeta = new InsertUpdateMeta();
		insertUpdateMeta.setDatabaseMeta(transMeta.findDatabase("Output"));
		insertUpdateMeta.setTableName("task_copy");//设置要更新的表
		//设置用来查询的关键字
		insertUpdateMeta.setKeyLookup(new String[] {"id"});
		insertUpdateMeta.setKeyStream(new String[] {"id"});
		insertUpdateMeta.setKeyStream2(new String[] {""});
		insertUpdateMeta.setKeyCondition(new String[] {"="});
		//设置更新的字段
		String [] updateLookup = {"id","type","title","path","corn"};
		String [] updateStream = {"id","type","title","path","corn"};
		Boolean [] updateOrNot = {false,true,true,true,true};
		insertUpdateMeta.setUpdateLookup(updateLookup);
		insertUpdateMeta.setUpdateStream(updateStream);
		insertUpdateMeta.setUpdate(updateOrNot);
		
		StepMeta insertUpdateStep = new StepMeta(STEP_INSERT_UPDATE,insertUpdateMeta);
		insertUpdateStep.setLocation(150, 50);
		insertUpdateStep.setDraw(true);
		
		transMeta.addStep(insertUpdateStep);
		
		//空步骤
		DummyTransMeta dummyMeta = new DummyTransMeta();
		
		StepMeta dummyStep = new StepMeta(STEP_DUMMY,dummyMeta);
		dummyStep.setLocation(200,50);
		dummyStep.setDraw(true);
		
		transMeta.addStep(dummyStep);
		
		//设置步骤直接的关系
		TransHopMeta hop = new TransHopMeta(inputStep, insertUpdateStep);
		transMeta.addTransHop(hop);
		TransHopMeta hop2 = new TransHopMeta(insertUpdateStep, dummyStep);
		transMeta.addTransHop(hop2);
		
		//开始执行
		Trans trans = new Trans(transMeta);
		trans.prepareExecution(null);
	
		trans.startThreads();
		trans.waitUntilFinished();
		
		if(trans.getErrors() > 0) {
			System.out.println(">>>>>>>>>> ERROR");
		}else {
			System.out.println(">>>>>>>>>> SUCCESS ");
		}
	}
}

import java.io.DataOutputStream;
import java.io.IOException;
import java.io.UnsupportedEncodingException;

import org.pentaho.di.core.Const;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.RowMetaAndData;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.core.exception.KettleStepException;
import org.pentaho.di.core.row.RowMetaInterface;
import org.pentaho.di.core.vfs.KettleVFS;
import org.pentaho.di.core.xml.XMLHandler;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransHopMeta;
import org.pentaho.di.trans.TransMeta;
import org.pentaho.di.trans.step.RowListener;
import org.pentaho.di.trans.step.StepInterface;
import org.pentaho.di.trans.step.StepMeta;
import org.pentaho.di.trans.steps.dummytrans.DummyTransMeta;
import org.pentaho.di.trans.steps.insertupdate.InsertUpdateMeta;
import org.pentaho.di.trans.steps.tableinput.TableInputMeta;

/**
 * 使用kettle从一张表读取数据，对另一张表进行插入更新操作
 * 步骤之间有参数传递
 * @author zhanghc
 *
 */
public class TableInput2 {
	
	public static void main(String[] args) throws KettleException {
		TableInput2 t = new TableInput2();
		t.read();
	}
	private static String STEP_READ_PARAM = "Read param";
	private static String STEP_READ_FROM_TABLE = "Read data from table";
	private static String STEP_INSERT_UPDATE = "Insert or update";
	private static String STEP_DUMMY = "Dummy";

	public void read() throws KettleException {
		KettleEnvironment.init();
		
		TransMeta transMeta = new TransMeta();
		transMeta.setName("数据同步2");
		
		//添加数据连接
		DatabaseMeta dataBaseInput = new DatabaseMeta("Input", "Mysql", "Native", "127.0.0.1", "kettletask", "3306", "root", "root");
		DatabaseMeta dataBaseOutput = new DatabaseMeta("Output", "Mysql", "Native", "127.0.0.1", "kettletask", "3306", "root", "root");
		transMeta.addDatabase(dataBaseInput);
		transMeta.addDatabase(dataBaseOutput);
		
		//条件查询
		TableInputMeta paramMeta = new TableInputMeta();
		paramMeta.setDatabaseMeta(transMeta.findDatabase("Output"));
		paramMeta.setSQL("SELECT MAX(id) FROM task");
		
		StepMeta paramtStep = new StepMeta(STEP_READ_PARAM,paramMeta);
		paramtStep.setLocation(0,50);
		paramtStep.setDraw(true);
		transMeta.addStep(paramtStep);
		
		//表输入
		TableInputMeta tableInputMeta = new TableInputMeta();
		tableInputMeta.setDatabaseMeta(transMeta.findDatabase("Input"));
		tableInputMeta.setSQL("SELECT * FROM task WHERE id > ?");
		tableInputMeta.setVariableReplacementActive(true);//替换sql中的变量
		tableInputMeta.setLookupFromStep(paramtStep);//从此步骤中读取参数值
		
		StepMeta inputStep = new StepMeta(STEP_READ_FROM_TABLE,tableInputMeta);
		inputStep.setLocation(50,50);
		inputStep.setDraw(true);
		transMeta.addStep(inputStep);
		
		//出入更新
		InsertUpdateMeta insertUpdateMeta = new InsertUpdateMeta();
		insertUpdateMeta.setDatabaseMeta(transMeta.findDatabase("Output"));
		insertUpdateMeta.setTableName("task_copy");//设置要更新的表
		//设置用来查询的关键字
		insertUpdateMeta.setKeyLookup(new String[] {"id"});
		insertUpdateMeta.setKeyStream(new String[] {"id"});
		insertUpdateMeta.setKeyStream2(new String[] {""});
		insertUpdateMeta.setKeyCondition(new String[] {"="});
		//设置更新的字段
		String [] updateLookup = {"id","type","title","path","corn"};
		String [] updateStream = {"id","type","title","path","corn"};
		Boolean [] updateOrNot = {false,true,true,true,true};
		insertUpdateMeta.setUpdateLookup(updateLookup);
		insertUpdateMeta.setUpdateStream(updateStream);
		insertUpdateMeta.setUpdate(updateOrNot);
		
		StepMeta insertUpdateStep = new StepMeta(STEP_INSERT_UPDATE,insertUpdateMeta);
		insertUpdateStep.setLocation(150, 50);
		insertUpdateStep.setDraw(true);
		
		transMeta.addStep(insertUpdateStep);
		
		//空步骤
		DummyTransMeta dummyMeta = new DummyTransMeta();
		
		StepMeta dummyStep = new StepMeta(STEP_DUMMY,dummyMeta);
		dummyStep.setLocation(200,50);
		dummyStep.setDraw(true);
		
		transMeta.addStep(dummyStep);
		
		//设置步骤直接的关系
		TransHopMeta hop2 = new TransHopMeta(paramtStep, inputStep);
		transMeta.addTransHop(hop2);
		TransHopMeta hop = new TransHopMeta(inputStep, insertUpdateStep);
		transMeta.addTransHop(hop);
		
		String xml = XMLHandler.getXMLHeader()+transMeta.getXML();
		DataOutputStream dos = new DataOutputStream(KettleVFS.getOutputStream("F:/csv.ktr", false));
		try {
			dos.write(xml.getBytes(Const.XML_ENCODING));
			dos.close();
		} catch (UnsupportedEncodingException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		//开始执行
		Trans trans = new Trans(transMeta);
		trans.prepareExecution(null);
	
		trans.startThreads();
		trans.waitUntilFinished();
		
		if(trans.getErrors() > 0) {
			System.out.println(">>>>>>>>>> ERROR");
		}else {
			System.out.println(">>>>>>>>>> SUCCESS ");
		}
	}
}

 

转载于:https://my.oschina.net/zhcheng/blog/1596841

chixiongchan6972
关注
kettle功能清单：rest、json、文件输出、邮件、sftp、延时
十年呵护的专栏
06-04 1527
一、前言 来个总览图，核心功能通过样例串联kettle的功能点 生成记录-》延迟执行-》rest请求-》JSON转化-》数据校验-》文本数据-》Sftp上传 二、功能点配置 2.1 输入：生成记录 在定义一些常用变量或者操作数据不太方面的 时候可以选用该组件（有点类似静态变量） 在输入菜单拖拽 生成数据记录，如下配置 上图：定义变量名称（随意） ，定义类型（要写上），定义值 基本就完成了，如下个流程如何取数据 2.2延迟执行 应用-》延迟执行 一般设置等待时间 2.3..
java调用kettle提供的API实现数据抽取DEMO
10-30
通过调用kettle的API接口,实现将一个库的数据转移到另一个数据库中。附件中同时提供了抽取需要的jar包
编写kettle当中的java脚本获取多个数据库中表的数据
gjq2267787274的专栏
11-24 7108
1.不同数据库中的表，保证这些表的结构相同 2.表中数据和生成文本数据 3.自定义常量设置和java代码 import java.sql.*; import org.pentaho.di.core.database.*; public boolean processRow(StepMetaInterface smi, StepDataInter
SpringBoot下调用kettle脚本
最新发布
椰汁菠萝
08-30 513
打开转换或者作业脚本，右键，选择“转换设置”或者“作业设置”，设置命名参数。方式使用，包括数据库连接都可以用。在java程序调用时，可以传递参数给脚本，实现动态变化；
kettlejava脚本的api_java调用kettle_实现（2）
weixin_39882948的博客
12-19 356
(1).参照“java调用kettle_导入jar包(1)”,应用etl工具下lib里的所有jar(2).最近要对一个系统的数据同步到另一个系统中，要求新系统的数据结果完成之后，实时同步到另一个系统数据表中。也就是动态的传一个关联的ID。由于旧系统是vb做的，无法提供webservice接口，并且同步的表涉及到十几张表，并且两个系统表结构完全不一样，所以想到了kettle。java集成kettle...
Java 调用 Kettle API 实现数据导入 Demo
Angzush的博客
08-13 1595
Java 调用 Kettle API 实现数据导入 Demo 开始执行kettle的转换生成.ktr文件 package com.kettle.demo.kettle; import net.sf.jsqlparser.statement.insert.InsertModifierPriority; import org.apache.commons.io.FileUtils; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.
kettle java api 执行 Kettle 的作业和 转换
chuhui1765的博客
03-29 512
1.项目创建； 本人测试使用 maven 来创建的项目。 创建完毕后，添加 kettle jar 包； 将上面类加入到classpath， 同时还需要加入两个依赖： <dependency> ...
java集成kettle 9.2.0开发
qq_42796953的博客
08-09 4067
java集成Kettle以及Kettle简介
用java调用kettle设计包含源代码
03-21
它支持图形化的设计界面（如Spoon），同时也提供了丰富的API供开发人员在Java环境中进行高级定制。 Java调用Kettle的设计需求常见于企业级应用中，特别是在需要通过程序控制数据处理流程或自动执行特定任务时。这种...
kettle python_Kettle入门教程
weixin_39811036的博客
12-18 677
最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。不过一来初学乍用，二来对此任务不是很感兴趣，研究的不是很深入，可能是以一种不科学的方法使用的，但观教程，常用的内容似乎也涉及到了，并且Y大说过，要善于总结，于是有了这篇，作为入门说明吧。一、下载与安装官网地址大...
使用Kettle数据迁移添加主键和索引
weixin_34146805的博客
04-11 2910
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，主要用于数据抽取、转换、装载。kettle兼容了市面上几十种数据库，故用kettle来做数据库的迁移视乎是个不错的选择。 kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等等，而这些东西恰恰都是数据迁移需要考虑的事情。当然，如果在不考...
kettle通过java脚本获取数据库的值
11-30
kettle通过java脚本获取数据库的值..................................................................
java调用kettle_api_jar包依赖.zip
08-13
java 调用 kettle api 所需jar包依赖。
《详解kettle之User Defined Java Class步骤》示例代码
09-07
《详解kettle之User Defined Java Class步骤》示例代码，是最详细的udjc步骤说明文档，有示例理解更容易，更全面。
kettle（二）java调用kettle api
w_t_y_y的博客
11-19 1539
背景：现需要定时执行数据抽取功能，kettle工具是可以直接新建job的，不过这样比较麻烦，时间都浪费在新建kettle上，也不便于监控和维护。其实不同的ktr文件模板基本都是一样的，只是里面的数据不一样而已，这时就可以只新建一个kettle转换的ktr文件，java后台新建任务，这个任务包括频率、参数，由job调度根据每个task设置的频率去执行，读取这个ktr文件，把ktr文件里面的参数用当前...
kettlejava脚本的api_java程序调用kettle
weixin_39941721的博客
12-19 359
(1).将相应的kettle的jar包导入的java项目，主要的jar包有一下几个。(2).java程序。package cn.com.taiji.oosweb.test.web;import org.pentaho.di.core.KettleEnvironment;import org.pentaho.di.core.util.EnvUtil;import org.pentaho.di.job...
kettle8.2 java调用kettle API 自动生成Transformation转换
Jbase的博客
04-03 5004
import java.io.File; import org.apache.commons.io.FileUtils; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; import org.pentaho.di.core.exception.Kett...
Java项目中使用Kettle，在java中使用kettle的API，此处以CSV为例
chixiongchan6972的博客
12-29 546
import java.io.DataOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.util.ArrayList; import java....
使用java语言，用API实现kettle表输入步骤中预览
07-14
要使用Java语言实现Kettle表输入步骤中的预览功能，您可以借助Kettle的Java API来实现。下面是一个简单的示例代码，演示了如何使用Kettle的API来进行表输入步骤的预览： ```java import org.pentaho.di.core....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值