Kettle框架搭建以及java代码调用作业和转换

最新推荐文章于 2023-03-10 00:16:51 发布

beststone1

最新推荐文章于 2023-03-10 00:16:51 发布

阅读量281

点赞数 1

分类专栏： kettle 文章标签： kettle

kettle 专栏收录该内容

62 篇文章 11 订阅

订阅专栏

转自： https://blog.csdn.net/m0_37027631/article/details/82683046

Kettle框架搭建

下载安装
可以从http://kettle.pentaho.org下载最新版的 Kettle软件，同时，Kettle 是绿色软件，下载后，解压到任意目录即可。

目前Kettle的最新版本是7.1。

由于Kettle 是采用java 编写，因此需要在本地有JVM 的运行环境。

安装完成之后，点击目录下面的kettle.exe 或者spoon.bat 即可启动kettle 。在启动kettle 的时候，会弹出对话框，让用户选择建立一个资源库。

资源库:是用来保存转换任务的，它用以记录我们的操作步骤和相关的日志，转换，JOB 等信息。用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以是各种常见的数据库，用户通过用户名/ 密码来访问资源库中的资源，默认的用户名/ 密码是admin/admin. 资源库并不是必须的，如果没有资源库，用户还可以把转换任务保存在 xml 文件中。

配置环境变量
前提是配置好Java的环境变量,因为他是java编写，需要本地的JVM的运行环境

配置Java环境变量可参考:

java实战(一)———–jdk环境配置

http://blog.csdn.net/zzq900503/article/details/9770237

在系统的环境变量中添加KETTLE_HOME变量，目录指向kettle的安装目录：D:kettledata-integration（具体以安装路径为准）

新建系统变量：KETTLE_HOME

变量值： D:kettledata-integration（具体以安装路径为准，Kettle的解压路径，直到Kettle.exe所在目录）

选择PATH添加环境变量：

变量名：PATH

变量值：% KETTLE_HOME%;

spoon操作界面

打开spoon.bat文件所在位置如下图

spoon基本操作界面

在spoon的操作界面中可以创建转换和工作

Kettle的基本概念

作业（job）
负责将[转换]组织在一起进而完成某一块工作，通常我们需要把一个大的任务分解成几个逻辑上隔离的作业，当这几个作业都完成了，也就说明这项任务完成了。

1.Job Entry：一个Job Entry 是一个任务的一部分，它执行某些内容。

2.Hop：一个Hop 代表两个步骤之间的一个或者多个数据流。一个Hop 总是代表着两个Job Entry 之间的连接，并且能够被原始的Job Entry 设置，无条件的执行下一个Job Entry，

直到执行成功或者失败。

3.Note：一个Note 是一个任务附加的文本注释信息。

转换（Transformation）
定义对数据操作的容器，数据操作就是数据从输入到输出的一个过程，可以理解为比作业粒度更小一级的容器，我们将任务分解成作业，然后需要将作业分解成一个或多个转换，每个转换只完成一部分工作。

1.Value：Value 是行的一部分，并且是包含以下类型的的数据：Strings、floating point Numbers、unlimited precision BigNumbers、Integers、Dates、或者Boolean。

2.Row：一行包含0 个或者多个Values。

3.Output Stream：一个Output Stream 是离开一个步骤时的行的堆栈。

4.Input Stream：一个Input Stream 是进入一个步骤时的行的堆栈。

5.Step：转换的一个步骤，可以是一个Stream或是其他元素。

6.Hop：一个Hop 代表两个步骤之间的一个或者多个数据流。一个Hop 总是代表着一个步骤的输出流和一个步骤的输入流。

7.Note：一个Note 是一个转换附加的文本注释信息。

创建简单的转换，首先配置数据库连接，一个转换中可以创建多个数据库连接，而且是不同类型的数据库也都可以，方便从一个数据库中抽取数据到另一个数据库中

左上角“核心对象”选项卡。展开输入选择->表输入，将表输入拖入到右侧控制台，表输出也是做相同的操作。

将鼠标放在表输入上停几秒会出现如图所示的选择框，建立表输入与表输出的连接关系。

双击表输入，然后给步骤自定义名称，并选择数据库连接，然后点击获取SQL查询语句按钮，选在数据库中需要操作的表，下方SQL展示框中会显示简单的sql语句，可以手动修改相应的sql语句。

Excel表输出：选择要输出的文件名。扩展名可以是xls也可以是xlsx

然后点击字段：选择数据库表中要导出到excel中的字段名称，类型和格式。可以导出指定字段也可以全部导出

以上转换操作做完以后点击执行按钮即可执行当前转换

作业的概念是可以将多个转换，或者多个作业串在一起共同执行。

在实际开发中通常会需要将转换或者作业嵌入到代码中，也就是java代码调用我们编辑好的作业和转换，下面写一个实际的调用实例

（1）首先需要导入kettle的相关jar包，如下图有些是数据库的jar包，作业或转换中所连接的数据库jar包都要有，所需jar包下载地址https://download.csdn.net/download/m0_37027631/10340506

（2）KettleExecu.java类，解释写在了代码中，下面有测试方法

package com.kettle;

import org.pentaho.di.core.database.DatabaseMeta;

import org.pentaho.di.core.exception.KettleException;

import org.pentaho.di.core.logging.LogWriter;

import org.pentaho.di.core.util.EnvUtil;

import org.pentaho.di.job.Job;

import org.pentaho.di.job.JobEntryLoader;

import org.pentaho.di.job.JobMeta;

import org.pentaho.di.repository.Repository;

import org.pentaho.di.repository.RepositoryDirectory;

import org.pentaho.di.repository.RepositoryMeta;

import org.pentaho.di.repository.UserInfo;

import org.pentaho.di.trans.StepLoader;

import org.pentaho.di.trans.Trans;

import org.pentaho.di.trans.TransMeta;

/**

* @author lyd

* @date 2018年3月13日

public class KettleExecu {

public static void main(String[] args) throws KettleException {

String filename = "D:/projects/oracleToexcel.ktr";

// callNativeTrans(filename);

// executeTrans();

// executeJobs();

callNativeTransWithParam(filename);

System.out.println("mysql、oracle数据库指定表导出到excel成功！");

}

/**

* 调用本地的转换文件

* @Description:

* @param transFileName

* @throws KettleException

* @author lyd

* @since：2018 下午02:58:41

public static void callNativeTrans(String transFileName) throws KettleException {

// 初始化

EnvUtil.environmentInit();

StepLoader.init();

// 转换元对象

TransMeta transMeta = new TransMeta(transFileName);

// 转换

Trans trans = new Trans(transMeta);

// 执行转换

trans.execute(null);

// 等待转换执行结束

trans.waitUntilFinished();

}

/**

* 调用本地的转换文件（带参数）

* @Description:

* @param transFileName

* @throws KettleException

* @author lyd

* @since：2018年3月13日

public static void callNativeTransWithParam(String transFileName) throws KettleException {

// 初始化

EnvUtil.environmentInit();

StepLoader.init();

// 转换元对象

TransMeta transMeta = new TransMeta(transFileName);

// 转换

Trans trans = new Trans(transMeta);

String[] params = {};

// 执行转换

trans.execute(params);

// 等待转换执行结束

trans.waitUntilFinished();

}

/**

* 执行存储在数据库资源库中的转换

* @Description:

* @throws KettleException

* @author lyd

* @since：2018年3月13日

public static void executeTrans() throws KettleException {

// 初始化

EnvUtil.environmentInit();

StepLoader.init();

// 日志

LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DEBUG);

// 用户

UserInfo userInfo = new UserInfo();

userInfo.setLogin("admin");

userInfo.setPassword("admin");

// 数据库连接元对象(连接名称，不必与kettle中配置的保持一致：数据库类型：连接方式（kettle支持的连接方式）：资源库IP：资源库实例名：资源库端口：资源库用户名：资源库用户密码)

DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");

// 资源库元对象

RepositoryMeta repinfo = new RepositoryMeta();

repinfo.setConnection(connection);

// 资源库

Repository rep = new Repository(log, repinfo, userInfo);

// 连接资源库

rep.connect("");

// 资源库目录对象

RepositoryDirectory dir = new RepositoryDirectory(rep);

// 转换元对象

TransMeta transMeta = new TransMeta(rep, "凭证（N9->EVC2）", dir);

// 转换

Trans trans = new Trans(transMeta);

// 执行转换

trans.execute(null);

// 等待转换执行结束

trans.waitUntilFinished();

}

/**

* 执行本地的任务文件

* @Description:

* @param jobFileName

* @throws KettleException

* @author lyd

* @since：2018年3月13日

public static void callNativeJob(String jobFileName) throws KettleException {

// 初始化

EnvUtil.environmentInit();

JobEntryLoader.init();

StepLoader.init();

// 日志

LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);

// job元对象

JobMeta jobMeta = new JobMeta(log, jobFileName, null);

// job

Job job = new Job(log, StepLoader.getInstance(), null, jobMeta);

jobMeta.setInternalKettleVariables(job);

// 执行job

job.execute();

// 等待job执行结束

job.waitUntilFinished();

}

/**

* 执行数据库资源库中的任务

* @Description:

* @throws KettleException

* @author lyd

* @since：2018年3月13日

public static void executeJobs() throws KettleException {

// 初始化

EnvUtil.environmentInit();

JobEntryLoader.init();

StepLoader.init();

// 日志

LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);

// 用户

UserInfo userInfo = new UserInfo();

userInfo.setLogin("admin");

userInfo.setPassword("admin");

// 数据库连接元对象

DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");

// 资源库元对象

RepositoryMeta repinfo = new RepositoryMeta();

repinfo.setConnection(connection);

// 资源库

Repository rep = new Repository(log, repinfo, userInfo);

// 连接资源库

rep.connect("");

// 资源库目录对象

RepositoryDirectory dir = new RepositoryDirectory(rep);

// 步骤加载对象

StepLoader steploader = StepLoader.getInstance();

// job元对象

JobMeta jobmeta = new JobMeta(log, rep, "4.账户每日余额", dir);

// job

Job job = new Job(log, steploader, rep, jobmeta);

// 执行job

job.execute();

// 等待job执行结束

job.waitUntilFinished();

}

}
---------------------
作者：从心初发L
来源：CSDN
原文：https://blog.csdn.net/m0_37027631/article/details/82683046
版权声明：本文为博主原创文章，转载请附上博文链接！

beststone1

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Kettle框架搭建以及java代码调用作业和转换

转自：https://blog.csdn.net/m0_37027631/article/details/82683046Kettle框架搭建下载安装可以从http://kettle.pentaho.org下载最新版的 Kettle软件，同时，Kettle 是绿色软件，下载后，解压到任意目录即可。目前Kettle的最新版本是7.1。由于Kettle 是采用java ...
复制链接

扫一扫

专栏目录