Java调用kjb文件

最新推荐文章于 2023-05-24 09:08:31 发布
最新推荐文章于 2023-05-24 09:08:31 发布
阅读量4.7k 收藏 11
点赞数
分类专栏： kettle 文章标签： java kettle pdi etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lw18751836671/article/details/119675760
版权

目录

一、kjb和ktr文件创建

kjb文件

ktr文件

关联kjb和ktr

变量信息

二、 Java代码调用kjb

引包

放入kjb和ktr文件

三、代码调用

定时任务

一、kjb和ktr文件创建

kjb文件

首先先新建一个Job，如下图所示，这样就新建了一个kjb文件，即一个可以被java运行的job。

 

ktr文件

然后创建一个ktr文件，即如下图所示

 

 

关于其中的元素，不过多的介绍了。

关联kjb和ktr

接着将kjb文件和ktr关联起来，如下图所示，右击，然后编辑作业入口，

在浏览处选择对应的ktr文件，

如果要查看 转换对应的ktr文件，直接双击转换这个节点就行。

变量信息

在kjb文件的空白处双击，出现如下图界面，这是用来设置全局变量的。

 

在ktr文件处也可以双击，设置ktr的文件变量，

 

这些变量可以设置默认值，也可以通过Java代码调用时传递进来。

如果要获取到变量，如下图所示的节点，${auth_code}是获取变量值。

在表输入中就可以使用上面获取的变量来作为入参，如下图所示。

OK，基本的元素就不介绍了，介绍变量是因为Java代码中需要使用，重点还是Java代码如何调用kjb文件。

二、 Java代码调用kjb

引包

肯定是要引入kettle的jar包的，kettle的包就是放在本地，而不是从maven仓库中获取的，

 

<dependency>
   <groupId>pentaho-kettle</groupId>
   <artifactId>kettle-core</artifactId>
   <version>9.0.0.0-423</version>
   <scope>system</scope>
   <systemPath>${project.basedir}\src\main\resources\libs\kettle-core-9.0.0.0-423.jar</systemPath>
</dependency>
<dependency>
   <groupId>pentaho-kettle</groupId>
   <artifactId>kettle-engine</artifactId>
   <version>9.0.0.0-423</version>
   <scope>system</scope>
   <systemPath>${project.basedir}\src\main\resources\libs\kettle-engine-9.0.0.0-423.jar</systemPath>
</dependency>
<dependency>
   <groupId>pentaho-kettle</groupId>
   <artifactId>matastore</artifactId>
   <version>9.0.0.0-423</version>
   <scope>system</scope>
   <systemPath>${project.basedir}\src\main\resources\libs\metastore-9.0.0.0-423.jar</systemPath>
</dependency>

<dependency>
   <groupId>pentaho-kettle</groupId>
   <artifactId>commons-vfs2</artifactId>
   <version>2.2</version>
   <scope>system</scope>
   <systemPath>${project.basedir}\src\main\resources\libs\commons-vfs2-2.2.jar</systemPath>
</dependency>

<dependency>
   <groupId>pentaho-kettle</groupId>
   <artifactId>jsch</artifactId>
   <version>0.1.54</version>
   <scope>system</scope>
   <systemPath>${project.basedir}\src\main\resources\libs\jsch-0.1.54.jar</systemPath>
</dependency>

本项目搭建的是一个spring boot的工程，所以spring boot的所需jar包也要，还有数据库连接的包，完整的pom.xml文件如下面所示，

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <parent>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-parent</artifactId>
      <version>2.3.0.RELEASE</version>
      <relativePath/> <!-- lookup parent from repository -->
   </parent>
   <groupId>com.fable.jsst</groupId>
   <artifactId>kettle-server</artifactId>
   <version>0.0.1-SNAPSHOT</version>
   <name>kettle-server</name>
   <description>kettle-server</description>

   <properties>
      <java.version>1.8</java.version>
      <start-class>com.fable.jsst.kettleserver.KettleServerApplication</start-class>
   </properties>

   <dependencies>
      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter</artifactId>
      </dependency>

      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-test</artifactId>
         <scope>test</scope>
         <exclusions>
            <exclusion>
               <groupId>org.junit.vintage</groupId>
               <artifactId>junit-vintage-engine</artifactId>
            </exclusion>
         </exclusions>
      </dependency>

      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-data-jpa</artifactId>
      </dependency>
      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-web</artifactId>
      </dependency>
      <dependency>
         <groupId>org.projectlombok</groupId>
         <artifactId>lombok</artifactId>
         <optional>true</optional>
      </dependency>

      <dependency>
         <groupId>pentaho-kettle</groupId>
         <artifactId>kettle-core</artifactId>
         <version>9.0.0.0-423</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\kettle-core-9.0.0.0-423.jar</systemPath>
      </dependency>
      <dependency>
         <groupId>pentaho-kettle</groupId>
         <artifactId>kettle-engine</artifactId>
         <version>9.0.0.0-423</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\kettle-engine-9.0.0.0-423.jar</systemPath>
      </dependency>
      <dependency>
         <groupId>pentaho-kettle</groupId>
         <artifactId>matastore</artifactId>
         <version>9.0.0.0-423</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\metastore-9.0.0.0-423.jar</systemPath>
      </dependency>

      <dependency>
         <groupId>pentaho-kettle</groupId>
         <artifactId>commons-vfs2</artifactId>
         <version>2.2</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\commons-vfs2-2.2.jar</systemPath>
      </dependency>

      <dependency>
         <groupId>pentaho-kettle</groupId>
         <artifactId>jsch</artifactId>
         <version>0.1.54</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\jsch-0.1.54.jar</systemPath>
      </dependency>

      <dependency>
         <groupId>mysql</groupId>
         <artifactId>mysql-connector-java</artifactId>
         <version>5.1.21</version>
      </dependency>

      <dependency>
         <groupId>com.oracle</groupId>
         <artifactId>ojdbc14</artifactId>
         <version>10.2.0.2.0</version>
         <scope>system</scope>
         <systemPath>${project.basedir}\src\main\resources\libs\ojdbc14-10.2.0.2.0.jar</systemPath>
      </dependency>
      <dependency>
         <groupId>org.apache.commons</groupId>
         <artifactId>commons-vfs2</artifactId>
         <version>2.2</version>
      </dependency>
      <dependency>
         <groupId>com.google.guava</groupId>
         <artifactId>guava</artifactId>
         <version>17.0</version>
      </dependency>

      <dependency>
         <groupId>commons-io</groupId>
         <artifactId>commons-io</artifactId>
         <version>2.2</version>
      </dependency>
      <dependency>
         <groupId>org.apache.commons</groupId>
         <artifactId>commons-lang3</artifactId>
         <version>3.0</version>
      </dependency>
      <dependency>
         <groupId>commons-lang</groupId>
         <artifactId>commons-lang</artifactId>
         <version>2.6</version>
      </dependency>
      <dependency>
         <groupId>net.sf.scannotation</groupId>
         <artifactId>scannotation</artifactId>
         <version>1.0.2</version>
         <exclusions>
            <exclusion>
               <groupId>javassist</groupId>
               <artifactId>javassist</artifactId>
            </exclusion>
         </exclusions>
      </dependency>
      <dependency>
         <groupId>commons-codec</groupId>
         <artifactId>commons-codec</artifactId>
         <version>1.10</version>
      </dependency>


      <dependency>
         <groupId>org.hibernate</groupId>
         <artifactId>hibernate-core</artifactId>
         <version>5.2.12.Final</version>

         <scope>compile</scope>
      </dependency>
      <!--<dependency>
         <groupId>javax.transaction</groupId>
         <artifactId>javax.transaction-api</artifactId>
         <version>1.2</version>
         <scope>compile</scope>
      </dependency>-->

      <dependency>
         <groupId>org.hibernate</groupId>
         <artifactId>hibernate-entitymanager</artifactId>
         <version>5.2.3.Final</version>
      </dependency>

      <dependency>
         <groupId>com.slyak</groupId>
         <artifactId>spring-data-jpa-extra</artifactId>
         <version>3.0.0.RELEASE</version>
      </dependency>

   </dependencies>


   <build>
      <plugins>
         <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
            <executions>
               <execution>
                  <goals>
                     <goal>repackage</goal>
                  </goals>
               </execution>
            </executions>
                <configuration>
                    <!--包含本地jar包-->
                    <includeSystemScope>true</includeSystemScope>
               <mainClass>${start-class}</mainClass>
                </configuration>
         </plugin>
      </plugins>


   </build>

</project>

放入kjb和ktr文件

此处是为了能让代码找到对应路径，其实也可以在项目配置下路劲即可。

如下图所示，这是我配置的本地调试路径，当然也可以设置为Linux的路径。

文件的话是保存在此处的，

项目部署在Linux上，所以Linux上是如此配置的

application-prod.prpperties

这个application-prod.properties是下面代码调用出的spring boot工程，即kettle-server工程

而组件等是安装在kettle目录下，即kettle工具的linux版，同样kjb和ktr文件也放在此处。

 

三、代码调用

定时任务

/**
 * 任务：合表
 */
@Scheduled(cron = "0 0/30 * * * ?")
public void collectJobTask() {
    log.info("定时任务合表开始。。。");
    kettleService.startCollectJob();
    log.info("定时任务合表结束。。。");
}

一个定时任务的代码，调用service，进行具体的逻辑。

service中有两步，第一步获取参数，刚才在kjb和ktr中设置的参数需要修改，第二就是运行job

/**
 * 合表
 */
@Override
public void startCollectJob() {
    Map<String, String> params = setCollectParam();
    log.info("开始执行【合表】任务...");
    long startTime = System.currentTimeMillis();
    //todo job 地址需修改
    runJob(params, env.getProperty("kettle.collect.job.path"));
    long endTime = System.currentTimeMillis();
    log.info("【合表】任务结束,耗时{}s", (endTime - startTime) / 1000);
}

第一步获取参数是setCollectParam方法，此方法如下，获取application.properties中配置的数据，放入map中即可。

Map<String, String> params = new HashMap<>();
//  从配置文件读取源(省、市、区)、目标配置
//省
params.put("jlk_ip", env.getProperty("kettle.jlk.ip"));
params.put("jlk_db", env.getProperty("kettle.jlk.db"));
params.put("jlk_port", env.getProperty("kettle.jlk.port"));
params.put("jlk_pwd", env.getProperty("kettle.jlk.pwd"));
params.put("jlk_username", env.getProperty("kettle.jlk.username"));

env是spring的一个类org.springframework.core.env.Environment

第二步是runJob方法，下面的kettle.collect.job.path就是配置在application.prpoerties中的kjb路径，现在就获取了。

kettle.collect.job.path

runJob(params, env.getProperty("kettle.collect.job.path"));

下面这个就是运行的job的方法了，

/**
 * 运行作业文件
 *
 * @param params  作业参数
 * @param kjbPath 作业文件路径，后缀kjb
 */
private void runJob(Map<String, String> params, String kjbPath) {
    try {
        StepPluginType.getInstance().getPluginFolders().add(new PluginFolder(env.getProperty("kettle.utils.plugins.path"), false, true));
        KettleEnvironment.init();
        JobMeta jobMeta = new JobMeta(kjbPath, null);
        // 配置作业参数
        for (String param : params.keySet()) {
            jobMeta.setParameterValue(param, params.get(param));
        }
        Job job = new Job(null, jobMeta);
        // 设置日志级别
        job.setLogLevel(LogLevel.ERROR);
        log.info("启动作业...");
        job.start();
        log.info("等待作业执行完毕...");
        job.waitUntilFinished();
        if (job.getErrors() > 0) {
            log.info("作业执行出错!");
            throw new Exception("作业执行出错");
        }
    } catch (Exception e) {
        log.info("作业执行异常!", e);
    }
}

初始化插件

StepPluginType.getInstance().getPluginFolders().add(new PluginFolder(env.getProperty("kettle.utils.plugins.path"), false, true));

插件就是下图工具中的东西，本地调试可以这么搞，如果是部署在Linux上，那么就要配置安装在linux上的工具插件位置。

kettle环境初始化，

KettleEnvironment.init();

此时此处可以放在Application类中，即运行spring boot时就初始化，没必要每次schedule就初始化一次，费时间。

即下面这样。

@SpringBootApplication
@EnableScheduling
@ComponentScan(basePackages = "com.fable")
public class KettleServerApplication {

   public static void main(String[] args) {

KettleEnvironment.init();
      SpringApplication.run(KettleServerApplication.class, args);
   }

}

将kjb加载到job元数据类中。

JobMeta jobMeta = new JobMeta(kjbPath, null);

设置参数

for (String param : params.keySet()) {
    jobMeta.setParameterValue(param, params.get(param));
}

设置Job，即能独立跑的一个类，相当于开个线程，这么理解。

Job job = new Job(null, jobMeta);

job.start();

伟衙内
关注
专栏目录
Kettle【实践 04】Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明（云资源分享:依赖包+kjb+ktr+测试源码）
シ風
03-02 2428
Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明（云资源分享:依赖包+kjb+ktr+测试源码）
Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
最新发布
qq_57300198的博客
06-06 795
在 Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
KETTLE命令行执行JOB（*.KJB）
阿虎点滴
01-23 7945
--前提 Windows环境+正确的环境变量配置+kettle版本信息（4.3） --从资料库中运行区分大小写 kitchen /rep etl /user admin /pass admin /job Job_ETL --从文件中运行 kitchen /file:D:\\ETL\\file_job.kjb /level:Basic --定期执行 计划任务的建立可以参见Python
java调ktr或kjb
08-19
java 调用设计好的作业（.ktr）或转换（.kjb）
在linux文件下执行.kjb文件和trans文件
chensq_yinhai的博客
11-30 5232
先找到kitchen.sh文件所在的位置 新建一个sh文件（runKjbScript.sh），在文件中添加如下代码： kitchen.sh路径/kitchen.sh -file= 文件路径/kjb文件名称.kjb -log=日志名称.log 可以配置成定时任务：例如每天下午17：30运行就可以写成： 30 17 * * * cd /runKjbScript文件路径 && ./runKjbScript.sh reload 生效：/etc/init.d/crond/reload 参考博客：htt
first-job.kjb
04-04
kettle环境搭建源文件（first-job.kjb）
实战——Linux定时执行Kettle的kjb文件
qq_17376623的博客
05-16 1613
Linux设置kettle定时执行
Java调用kettle 放ktr/xml文件
m0_62781642的博客
05-24 817
太局限性了，我的业务相对于复杂，所以用sql不行 所以想了半天决定用 java先 生成xml文件然后调用kettle 把文件放进去实现 更新插入。这里生成xml就不展示了 因为不是很难，直接上调用kettle代码 (百度上的基本都没有说调xml或者ktr的 都是一堆调用kjb的)大家好啊，最近遇见一个比较棘手的问题 就是要实现 更新插入，意思就是说 在执行sql的时候有就更新没有就插入。第一个传null 第二个是你放xml/ktr文件的地址。我把相关的实现代码直接封装成了一个工具类。
生成kettle作业的Java代码.rar
12-06
`KettleRunJob.java` 文件可能是一个控制器类，负责调用前面的`KettleCreateJob`和`KJob`类，完成作业的创建和运行。它可能包含一个主方法，先创建作业，然后执行这个作业。运行作业时，除了调用`Job.execute()`，还...
kjb文件 解析_NVH原始数据文件如何读取 Part2
weixin_39962153的博客
10-28 416
“前一篇文章介绍了NVH数采系统记录的原始文件常见的几种数据格式。本篇将介绍怎样找到具体的数据位置并还原它，从而实现编程直接读取原始文件的目的。”01—画出整体数据前一篇文章提到：数采系统记录的原始数据包含两部分：ASCII码明文和某类型的二进制数据。如图1。图1本文中，我们以24位数据格式来举例。要画出整体数据，可以对图1的原始文件进行如下3次尝试，如图2：1)从文件开头，读取24位整...
kettle使用命令行来运行ktr和kjb文件
WangJY的技术博客
08-13 5501
1：cmd方式运行 1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。 打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data-integration,然后执行文件的命令为：pan /file D:\etltest\EtltestTrans.ktr 2.kjb的运行：运行job文件是通过kitchen.bat来运行的。 打开cmd命令行窗口，转到Pa...
Java kettle程序执行 kettle文件
写博客只为学习
04-11 2058
Java执行本地ktr文件和kjb文件 package com.cmbchina.mms.comm.kettle; import java.io.File; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; import org.pen
Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
シ風
11-26 2401
Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
服务器执行kjb文件,部署Kettle作ETL开发并使用Crontab制做调度系统
weixin_33201531的博客
08-06 998
背景说明：在数据量较小，且数据源和装载地都是关系型数据库时，使用Kettle作ETL较为简便。因为调度系统产品由于服务器环境方面的因素，而没法部署，故使用Linux的crontab定时器来制做简易调度系统是一个比较简便的解决方案。本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统，以便处理相似问题时方案的复用。html1、环境与工具CentOS 6.7JDK1.8/JDK1...
java web项目整合kettle进行数据自动导入
等等等等等再等
11-23 6799
文章目录分析：项目github地址：[kettle-springboot](https://github.com/haochenchn/kettle-springboot)实现：1、spring boot整合kettle2、spring boot整合mybatis3、pagehelper插件 最近有一个需求，就是要将数据文件打包上传到服务器，上传的同时分析数据文件并将数据清洗入库。 分析： ...
kettle用命令行执行ktr和kjb
xiao_m_l的专栏
04-11 3365
Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用Pan 工具来运行，任务是用Kitchen 来运行。Pan 是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用XML 或数据资源库描述 的任务。通常任务是在规定的时间间隔内用批处理的模式自动运 一。执行转换transformation(ktr)
spring boot 整合kettle调用ktr与kjb文件
weixin_43870176的博客
06-03 7201
前言 在积累的过程中要学会思考，才能成长。 1.导入jar包 新建一个spring boot项目后，为了使整合的项目正常运行需要导入kettle相应的jar包，我所用kettle的版本为8.20。使用的jar包如下图所示（这些jar包可以在kettle的lib目录下找到） 2.spring boot调用ktr文件 添加jar包后就可以进行代码的编写了，我将调用ktr的代码写在测试类中...
【软考003】KETTLE
小哥哥咯的博客
03-21 1710
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），用于执行数据的处理，转换，迁移的工具。Kettle是一款国外开源的ETL工具，纯java编写。kjb：就是job，可以用来控制 transformation 的运行流程，可以顺序执行或者并发运行；或者脚本；或者设置变量；传输文件；运行shell等；ktr：就是transform，转换。具体的数据处理步骤，一般情况包含一个input和一个output。在input和output之间可以执行各式各样的转换操作。
kettle的kjb文件
11-08
Kettle的kjb文件是一种Kettle作业文件，它是由Kettle工具Spoon创建的，用于定义Kettle作业的执行流程。Kettle作业是由一系列的步骤组成的，每个步骤都可以执行不同的操作，例如读取数据、转换数据、写入数据等。Kettle的kjb文件可以通过Spoon工具进行创建和编辑，也可以通过代码调用进行执行。在kjb文件中，可以定义作业的输入和输出，以及作业执行的条件和顺序等信息。Kettle的kjb文件可以通过Java代码进行调用，从而实现Kettle作业的自动化执行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值