java(spring boot) 调用kettle脚本

最新推荐文章于 2024-10-14 18:51:43 发布
最新推荐文章于 2024-10-14 18:51:43 发布
阅读量2.9k 收藏 11
点赞数 1
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XuZZ94/article/details/103531261
版权

java 调用kettle脚本

可以提前熟悉一下构建过程　一个简单的java项目

之前的kettle docker化的过程中，我是直接将Spoon整个项目导入的，所以造成文件臃肿．生产环境使用crontab方式部署，但是因为服务器遭到挖矿脚本的攻击．所以普通用户crontab服务会被攻击而停止运行．而且使用crontab的方式确实不便于管理（这里推荐XXL-JOB分布式调度平台)．当然在实际开发的过程中我们也不能灵活的部署,所以我们如果能借助熟悉的开发语言来调用脚本的话能够让开发工作变得更加简单．kettle的循环脚本确实在次数过多的时候会出现问题.

我们直接进入主题．

新建KettleDome.java文件(可以在编译器上开发)

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

public class KettleDome{
    public static void main(String[] args) throws KettleException{
        String fileName = "/~/test.ktr";
        System.out.println("-----------");
        KettleEnvironment.init();
        TransMeta transMeta = new TransMeta(fileName);
        Trans trans = new Trans(transMeta);
        trans.execute(null);
        trans.waitUntilFinished();
    }
}

将spoon中的lib目录拷贝到/~/lib目录下

构建class文件

javac -extdirs /~/lib  KettleDome.java
-extdirs:加入第三方jar包目录

构建jar包

jar cvf KettleDome.jar KettleDome.class 
touch MANIFEST.MF
vim MANIFEST.MF
~~
		nifest-Version: 1.0
		Created-By: 1.4.2 (Sun Microsystems Inc.)	
		Main-Class: KettleDome
~~
jar umf MANIFEST.MF KettleDome.jar

运行脚本

java -jar -Djava.ext.dirs=/~/lib/ KettleDome.jar
-Djava.ext.dirs:加入第三方jar包目录

运行结果

2019/12/13 16:20:43 - user_tmp - 为了转换解除补丁开始  [user_tmp]
...
2019/12/13 16:20:46 - kettle-docker - 为'kettle-docker'创建数据库连接池...
2019/12/13 16:20:46 - kettle-docker - 为'kettle-docker'创建数据库连接池成功
...execute
2019/12/13 16:21:15 - 去除重复记录.0 - 完成处理 (I=0, O=0, R=1758, W=1741, U=0, E=0)
2019/12/13 16:21:19 - 表输出.0 - 完成处理 (I=0, O=1741, R=1741, W=1741, U=0, E=0)

如果使用maven

将核心包下载到本地仓库(data/tool/data-integration/lib 是我安装spoon的目录)

相关包查询
 ls -al | egrep "kettle-(core|engine)|metastore"
kettle相关jar包现在到本地maven仓库

mvn install:install-file -Dfile=/data/tool/data-integration/lib/kettle-core-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=kettle-core -Dversion=8.2.0.0-342 -Dpackaging=jar 

mvn install:install-file -Dfile=/data/tool/data-integration/lib/kettle-engine-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=kettle-engine -Dversion=8.2.0.0-342 -Dpackaging=jar 

mvn install:install-file -Dfile=/data/tool/data-integration/lib/metastore-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=metastore -Dversion=8.2.0.0-342 -Dpackaging=jar

如果你需要启动一个里面含有 表输入(出)&excel&java脚本的.ktr文件那么你需要引入如下的文件

 <properties>
        <java.version>1.8</java.version>
        <kettle.version>8.2.0.0-342</kettle.version>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>


        <!--ETL-->
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>kettle-core</artifactId>
            <version>${kettle.version}</version>
        </dependency>
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>${kettle.version}</version>
        </dependency>
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>metastore</artifactId>
            <version>${kettle.version}</version>
        </dependency>
<!--        <dependency>-->
<!--            <groupId>org.pentaho</groupId>-->
<!--            <artifactId>kettle-dbdialog</artifactId>-->
<!--            <version>${kettle.version}</version>-->
<!--        </dependency>-->

        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-vfs2 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-vfs2</artifactId>
            <version>2.4.1</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>28.1-jre</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-lang/commons-lang -->
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-codec/commons-codec -->
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.13</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-io -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.codehaus.janino/commons-compiler -->
        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>commons-compiler</artifactId>
            <version>3.1.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.codehaus.janino/janino -->
        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>janino</artifactId>
            <version>3.1.0</version>
        </dependency>
<!--        &lt;!&ndash; https://mvnrepository.com/artifact/org.apache.poi/poi &ndash;&gt;-->
<!--        <dependency>-->
<!--            <groupId>org.apache.poi</groupId>-->
<!--            <artifactId>poi</artifactId>-->
<!--            <version>4.1.1</version>-->
<!--        </dependency>-->
        <!-- https://mvnrepository.com/artifact/org.apache.poi/poi-ooxml -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.1.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/net.sourceforge.jexcelapi/jxl -->
        <dependency>
            <groupId>net.sourceforge.jexcelapi</groupId>
            <artifactId>jxl</artifactId>
            <version>2.6.12</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-dbcp/commons-dbcp -->
        <dependency>
            <groupId>commons-dbcp</groupId>
            <artifactId>commons-dbcp</artifactId>
            <version>1.4</version>
        </dependency>





        <!--ETL-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.43</version>
        </dependency>

    </dependencies>

java文件

package com.etl.test;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

/**
 * @Author: xuzz
 * @Description:
 * @Date: Created in 上午11:00 19-12-13
 * @Modified By:
 */
@RunWith(SpringRunner.class)
@SpringBootTest
public class TestDome {
    @Test
    public void test() throws KettleException {

        String fileName = "/~/test.ktr";
        System.out.println("-----------");
        KettleEnvironment.init();
        TransMeta transMeta = new TransMeta(fileName);
        Trans trans = new Trans(transMeta);
        trans.execute(null);
        trans.waitUntilFinished();

    }
}

当然这些是你没有经过首次试错的得到的结果.

以上:当前用户的.kettle目录下的配置文件依然有效.

.kjb的调用方式

		JobMeta jm = new JobMeta("/~/~.kjb",null);
        Job job = new Job(null, jm);
        job.start();
        job.waitUntilFinished();

.kjb .ktr传参

作业:
job.setParameterValue("key","value");
job.setVariable(key,v);
转换:
trans.setParameterValue("key","value");
trans.setVariable(key,v);
夜风彡
关注
专栏目录
java集成kettle 9.2.0开发
qq_42796953的博客
08-09 4121
java集成Kettle以及Kettle简介
Spring Boot 快速入门（一），kettle详细使用教程
m0_64867092的博客
12-08 2034
Spring的缺点： 复杂的配置： 配置十分繁琐，项目的环境配置会增加开发时的损耗，开发者在思考 Spring 特性配置和解决业务问题之间需要进行思维切换，环境配置会占用写应用程序逻辑的时间。 依赖管理： 项目的依赖管理也是一件耗时耗力的事情。在环境搭建时，需要分析要导入哪些库的坐标，而且还需要分析导入与之有依赖关系的其他库的坐标，并且，依赖管理也是一种损耗，添加依赖不是写应用程序代码。一旦选错了依赖的版本，随之而来的不兼容问题就会严重阻碍项目的开发进度。 SpringBoot解决了上述Spri
springboot实现kettle
01-26
支持并发，单独日志,有问题私聊 可用于：调度任务，参数化使用
Spring Boot 集成 RocketMQ
最新发布
sunyanchun的专栏
10-14 1133
RocketMQ 是一款由阿里巴巴开源的分布式消息中间件，最初用于支持阿里巴巴的海量业务。它基于发布-订阅模型，具备高吞吐、低延迟、高可用和强一致性的特点，适用于消息队列、大规模数据流处理等场景。以下是对 RocketMQ 的原理和核心概念的详细介绍，帮助你快速认识和熟悉 RocketMQ。到官网 下载最新版本的 RocketMQ 二进制包（Binary 下载）。将下载的 ZIP 文件解压到您选择的目录，例如 D:\software\rocketmq-all-5.1.4-bin-release。
SpringBoot下调用kettle脚本
椰汁菠萝
08-30 695
打开转换或者作业脚本，右键，选择“转换设置”或者“作业设置”，设置命名参数。方式使用，包括数据库连接都可以用。在java程序调用时，可以传递参数给脚本，实现动态变化；
Springboot+Kettle(Spoon)
热门推荐
K One
07-28 1万+
Springboot集成kettle实战介绍项目截图java+kettle实战代码1 pom.xml2 kettleUtil3 业务层方法a 资源库业务b 转换的相关业务c 完整代码 介绍 kettle就不介绍了,Web界面极其简单、丑陋，生产环境无法投入使用.所以这篇实战内容是springboot结合kettle的web端执行已经在spoon客户端做好的ktr和kjb(既:这里不包括web页面制作ktr和kjb).主要功能如下: web页面选择本地文件夹作为资源库 从已配置好的资源库里选择ktr和kj
Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
qq_57300198的博客
06-06 811
在 Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
ttle-web：基于spring boot通过java代码调用kette
02-05
读我 通过Java API调用水壶核心代码，并基于Spring Boot提供简易的Web管理界面。 特色 Java API调用水壶核心代码 任务并行执行 网络管理任务 展示 界面用Bootstrap3和jQuery简单撸了下。 仪表板 查看任务执行情况 任务 定义任务（当前需要指定kjb的路径），执行任务 任务历史 查看历史任务，看日志 计划任务 通过定义cron表达式，计划执行任务 已实现 Java API调用Kettle核心代码（基于Kettle 7.1 ） kjb调用ktr 贝壳 MySQL Oracle 蜂巢 JS代码 Java语言 Kettle其他功能暂未测试，目前测试覆盖的功
JAVA调用Kettle脚本
BUGdeQD的博客
06-09 6191
一 Kettle简介 1、ETL简介 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于开发或者运维人员来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少，这里我们要学习的ETL工具就是Kettle！ 2、Kettle简介 Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT
java调用kettle脚本ktr
爱笑才不是傻帽的博客
02-21 5943
1.首先用kettle界面写好一个ktr脚本，如下图，在这里的kettle使用的是官方的7.1版本 2.在自己的项目里面添加如下依赖，前面几个可以通过maven依赖进来，后面有的jar可以在kettle的应用里面找到 &lt;!-- kettle --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.common...
Kettle的java脚本
qq_28656707的博客
03-03 1174
Kettle的java脚本 import java.util.*; private String str1; public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException { Object[] r = getRow(); // If the row object is null, we are done processing. ...
Java调用kettle
zhuzi51的专栏
06-28 407
楔子 学习笔记，学习的过程中发现一个不错的demo。感觉不错 地址 JOB调用 https://www.javatips.net/api/org.pentaho.di.job.job 转换调用 https://www.javatips.net/api/org.pentaho.di.trans.Trans JINDI设置 看源码发现的设置JNDI的方式 /** * kettle_home是在 设定目录下面的.kettle文件夹 */ public static voi
Spring Boot 快速入门（一，神级Java进阶笔记
m0_61439907的博客
09-09 407
人们把Spring Boot称为搭建程序的脚手架。它能帮我们快速的构建庞大的spring项目，并且尽可能的减少一切xml配置，这样我们在开发时关注点集中在了业务问题上，而不再是配置问题上，可以非常轻松的开始应用程序。 SpringBoot的核心功能 起步依赖： 起步依赖本质上是一个Maven项目对象模型（Project Object Model，POM），定义了对其他库的传递依赖，这些东西加在一起即支持某项功能。 简单的说，起步依赖就是将具备某种功能的坐标打包到一起，并提供一些默认的功能。 自动配置
Springboot整合ETL引擎Kettle的使用
qq_22824481的博客
06-01 4757
kettle是一个开源ETL工具。kettle提供了基于java的图形化界面，使用很方便。
java操作kettle
AWU2021的博客
06-18 993
java操作kettle，支持自定义组件，预览数据，自定义监听器等功能
spring boot 调用kettle引入kettle jar包
luopengdlc的专栏
11-13 1901
第一种方式： 刚开始右击项目选择Build Path ——》ConfigurationBuild Path ——》Java Build Path——》Libraries——》Add External JAR选择要引入的jar包，这种方式调用kettle可以成功，但是在打jar包的时候回出现 程序包不存在错误。 第二种方式： 在resources目录下新建文件夹...
spring boot web项目 maven 调用kettle
li_wei_ying0809的专栏
11-01 5473
kettle的maven依赖没有找到，通过自己向maven库中添加，解决了springboot web项目调用kettle的问题 解决方法如下： 1.向maven中添加jar  需要添加的jar包包括：kettle-core.jar， kettle-engine.jar,metastore.jar,vfs2.jar, scannotation.jar 这些包在kettle的解压路径 pdi...
java 调用 kettle
V0218的博客
08-03 531
import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.logging.LogLevel; impo...
spring boot整合kettle调用数据库资源库中的job
weixin_43870176的博客
06-12 3633
前言 上篇文章记录了spring boot如何调用文件资源库下的job，这篇文章会记录如何调用数据库资源库的job 1.导入jar包 在调用文件路径下的job需要导入如下jar包 而调用数据库资源库的job需要多导入2个jar包否则会报http错误，jar包如下 2.运行代码 代码如下： @Test public void excuteDBTrans() thro...
Spring Boot 整合 Kettle 具体流程
NoDeal的博客
10-10 5823
由于工作需要，将kettle整合到spring boot项目中，为以后方便将自己所学记录在此。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值