java(spring boot) 调用kettle脚本

最新推荐文章于 2024-06-18 15:25:43 发布
最新推荐文章于 2024-06-18 15:25:43 发布
阅读量2.9k 收藏 11
点赞数 1
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XuZZ94/article/details/103531261
版权

java 调用kettle脚本

可以提前熟悉一下构建过程　一个简单的java项目

之前的kettle docker化的过程中，我是直接将Spoon整个项目导入的，所以造成文件臃肿．生产环境使用crontab方式部署，但是因为服务器遭到挖矿脚本的攻击．所以普通用户crontab服务会被攻击而停止运行．而且使用crontab的方式确实不便于管理（这里推荐XXL-JOB分布式调度平台)．当然在实际开发的过程中我们也不能灵活的部署,所以我们如果能借助熟悉的开发语言来调用脚本的话能够让开发工作变得更加简单．kettle的循环脚本确实在次数过多的时候会出现问题.

我们直接进入主题．

新建KettleDome.java文件(可以在编译器上开发)

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

public class KettleDome{
    public static void main(String[] args) throws KettleException{
        String fileName = "/~/test.ktr";
        System.out.println("-----------");
        KettleEnvironment.init();
        TransMeta transMeta = new TransMeta(fileName);
        Trans trans = new Trans(transMeta);
        trans.execute(null);
        trans.waitUntilFinished();
    }
}

将spoon中的lib目录拷贝到/~/lib目录下

构建class文件

javac -extdirs /~/lib  KettleDome.java
-extdirs:加入第三方jar包目录

构建jar包

jar cvf KettleDome.jar KettleDome.class 
touch MANIFEST.MF
vim MANIFEST.MF
~~
		nifest-Version: 1.0
		Created-By: 1.4.2 (Sun Microsystems Inc.)	
		Main-Class: KettleDome
~~
jar umf MANIFEST.MF KettleDome.jar

运行脚本

java -jar -Djava.ext.dirs=/~/lib/ KettleDome.jar
-Djava.ext.dirs:加入第三方jar包目录

运行结果

2019/12/13 16:20:43 - user_tmp - 为了转换解除补丁开始  [user_tmp]
...
2019/12/13 16:20:46 - kettle-docker - 为'kettle-docker'创建数据库连接池...
2019/12/13 16:20:46 - kettle-docker - 为'kettle-docker'创建数据库连接池成功
...execute
2019/12/13 16:21:15 - 去除重复记录.0 - 完成处理 (I=0, O=0, R=1758, W=1741, U=0, E=0)
2019/12/13 16:21:19 - 表输出.0 - 完成处理 (I=0, O=1741, R=1741, W=1741, U=0, E=0)

如果使用maven

将核心包下载到本地仓库(data/tool/data-integration/lib 是我安装spoon的目录)

相关包查询
 ls -al | egrep "kettle-(core|engine)|metastore"
kettle相关jar包现在到本地maven仓库

mvn install:install-file -Dfile=/data/tool/data-integration/lib/kettle-core-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=kettle-core -Dversion=8.2.0.0-342 -Dpackaging=jar 

mvn install:install-file -Dfile=/data/tool/data-integration/lib/kettle-engine-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=kettle-engine -Dversion=8.2.0.0-342 -Dpackaging=jar 

mvn install:install-file -Dfile=/data/tool/data-integration/lib/metastore-8.2.0.0-342.jar -DgroupId=org.pentaho -DartifactId=metastore -Dversion=8.2.0.0-342 -Dpackaging=jar

如果你需要启动一个里面含有 表输入(出)&excel&java脚本的.ktr文件那么你需要引入如下的文件

 <properties>
        <java.version>1.8</java.version>
        <kettle.version>8.2.0.0-342</kettle.version>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>


        <!--ETL-->
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>kettle-core</artifactId>
            <version>${kettle.version}</version>
        </dependency>
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>${kettle.version}</version>
        </dependency>
        <dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>metastore</artifactId>
            <version>${kettle.version}</version>
        </dependency>
<!--        <dependency>-->
<!--            <groupId>org.pentaho</groupId>-->
<!--            <artifactId>kettle-dbdialog</artifactId>-->
<!--            <version>${kettle.version}</version>-->
<!--        </dependency>-->

        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-vfs2 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-vfs2</artifactId>
            <version>2.4.1</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>28.1-jre</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-lang/commons-lang -->
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-codec/commons-codec -->
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.13</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-io -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.codehaus.janino/commons-compiler -->
        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>commons-compiler</artifactId>
            <version>3.1.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.codehaus.janino/janino -->
        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>janino</artifactId>
            <version>3.1.0</version>
        </dependency>
<!--        &lt;!&ndash; https://mvnrepository.com/artifact/org.apache.poi/poi &ndash;&gt;-->
<!--        <dependency>-->
<!--            <groupId>org.apache.poi</groupId>-->
<!--            <artifactId>poi</artifactId>-->
<!--            <version>4.1.1</version>-->
<!--        </dependency>-->
        <!-- https://mvnrepository.com/artifact/org.apache.poi/poi-ooxml -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.1.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/net.sourceforge.jexcelapi/jxl -->
        <dependency>
            <groupId>net.sourceforge.jexcelapi</groupId>
            <artifactId>jxl</artifactId>
            <version>2.6.12</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-dbcp/commons-dbcp -->
        <dependency>
            <groupId>commons-dbcp</groupId>
            <artifactId>commons-dbcp</artifactId>
            <version>1.4</version>
        </dependency>





        <!--ETL-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.43</version>
        </dependency>

    </dependencies>

java文件

package com.etl.test;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

/**
 * @Author: xuzz
 * @Description:
 * @Date: Created in 上午11:00 19-12-13
 * @Modified By:
 */
@RunWith(SpringRunner.class)
@SpringBootTest
public class TestDome {
    @Test
    public void test() throws KettleException {

        String fileName = "/~/test.ktr";
        System.out.println("-----------");
        KettleEnvironment.init();
        TransMeta transMeta = new TransMeta(fileName);
        Trans trans = new Trans(transMeta);
        trans.execute(null);
        trans.waitUntilFinished();

    }
}

当然这些是你没有经过首次试错的得到的结果.

以上:当前用户的.kettle目录下的配置文件依然有效.

.kjb的调用方式

		JobMeta jm = new JobMeta("/~/~.kjb",null);
        Job job = new Job(null, jm);
        job.start();
        job.waitUntilFinished();

.kjb .ktr传参

作业:
job.setParameterValue("key","value");
job.setVariable(key,v);
转换:
trans.setParameterValue("key","value");
trans.setVariable(key,v);
夜风彡
关注
专栏目录
Spring Boot 快速入门（一，神级Java进阶笔记
m0_61439907的博客
09-09 389
人们把Spring Boot称为搭建程序的脚手架。它能帮我们快速的构建庞大的spring项目，并且尽可能的减少一切xml配置，这样我们在开发时关注点集中在了业务问题上，而不再是配置问题上，可以非常轻松的开始应用程序。 SpringBoot的核心功能 起步依赖： 起步依赖本质上是一个Maven项目对象模型（Project Object Model，POM），定义了对其他库的传递依赖，这些东西加在一起即支持某项功能。 简单的说，起步依赖就是将具备某种功能的坐标打包到一起，并提供一些默认的功能。 自动配置
Spring Boot 快速入门（一），kettle详细使用教程
m0_64867092的博客
12-08 1982
Spring的缺点： 复杂的配置： 配置十分繁琐，项目的环境配置会增加开发时的损耗，开发者在思考 Spring 特性配置和解决业务问题之间需要进行思维切换，环境配置会占用写应用程序逻辑的时间。 依赖管理： 项目的依赖管理也是一件耗时耗力的事情。在环境搭建时，需要分析要导入哪些库的坐标，而且还需要分析导入与之有依赖关系的其他库的坐标，并且，依赖管理也是一种损耗，添加依赖不是写应用程序代码。一旦选错了依赖的版本，随之而来的不兼容问题就会严重阻碍项目的开发进度。 SpringBoot解决了上述Spri
springboot实现kettle
01-26
支持并发，单独日志,有问题私聊 可用于：调度任务，参数化使用
Springboot+Kettle(Spoon)
热门推荐
K One
07-28 1万+
Springboot集成kettle实战介绍项目截图java+kettle实战代码1 pom.xml2 kettleUtil3 业务层方法a 资源库业务b 转换的相关业务c 完整代码 介绍 kettle就不介绍了,Web界面极其简单、丑陋，生产环境无法投入使用.所以这篇实战内容是springboot结合kettle的web端执行已经在spoon客户端做好的ktr和kjb(既:这里不包括web页面制作ktr和kjb).主要功能如下: web页面选择本地文件夹作为资源库 从已配置好的资源库里选择ktr和kj
ttle-web：基于spring boot通过java代码调用kette
02-05
读我 通过Java API调用水壶核心代码，并基于Spring Boot提供简易的Web管理界面。 特色 Java API调用水壶核心代码 任务并行执行 网络管理任务 展示 界面用Bootstrap3和jQuery简单撸了下。 仪表板 查看任务执行情况 任务 定义任务（当前需要指定kjb的路径），执行任务 任务历史 查看历史任务，看日志 计划任务 通过定义cron表达式，计划执行任务 已实现 Java API调用Kettle核心代码（基于Kettle 7.1 ） kjb调用ktr 贝壳 MySQL Oracle 蜂巢 JS代码 Java语言 Kettle其他功能暂未测试，目前测试覆盖的功
Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
qq_57300198的博客
06-06 718
在 Spring Boot 项目中运行 Kettle 任务的 .kjb 文件
Springboot整合ETL引擎Kettle的使用
qq_22824481的博客
06-01 4512
kettle是一个开源ETL工具。kettle提供了基于java的图形化界面，使用很方便。
java集成kettle 9.2.0开发
qq_42796953的博客
08-09 4055
java集成Kettle以及Kettle简介
Kettle--java代码组件实现密码加密(BCryptPasswordEncoder)
大风起兮云飞扬
01-14 2277
前提 通过kettle同步用户账号数据，需要用身份证后六位做为密码。但是存储到数据库中的密码是加密后，也就说在同步的时候就要对密码加密。 问题 因为业务用的spring boot中security中的接口PasswordEncoder的BCryptPasswordEncoder实现类来实现密码加密的，如何在kettle中使用这个类？ 解决 通过查阅相关资料，java片段可以使用jdk的所有类，但是如果是自定义的类则需要将类打入到jar包中，然后放到kettle的lib下，再在java片段中引入该类。但是因为
通过Kettle自定义jar包供javascript使用
10-15
标题中的“通过Kettle自定义jar包供javascript使用”指的是在Kettle数据转换或工作流中，如何创建自己的Java类并将其打包成jar文件，以便于JavaScript脚本在Kettle环境中调用这些自定义的方法。这通常是为了解决...
springboot整合kettle项目源码
12-15
springboot项目整合kettle项目源码，为各位开发提供一个完整的项目代码参考。 java整合kettle项目源码。
springboot 集成kettle核心包依赖文件配置信息pom.xml
10-22
springboot 集成kettle核心包依赖文件配置信息pom.xml
etl-kettle-web:etl, kettle, web, spring, spring boot, mysql, mybatis, oracle, hadoop, hive, hbase：基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具，并且升级为springboot（基于https
05-13
etl-kettle-web etl, kettle, web, 1、参考了： 2、基于该项目，将kettle的web网页版本升级为springboot工程。 3、欢迎有兴趣的小伙伴，一起讲前端改造成vue.js 4、有兴趣的也可以直接修改并提交代码，或联系qq:406419768
springboot代码整合kettle实现数据增量同步：1、kettle同步文件编写说明；2、java整合代码
06-12
工具：springboot，kettle核心jar包（xxl-job，jenkins，k8，docker） 实现数据库的增量同步，需要编写好kettle转换文件以配置文件的形式，整合到springboot，有改动只需要更换转换文件，不需要更新jar包，job用于灵活调整定时同步，再结合jenkins自动部署，十分方便。
【开源】基于 SpringBoot 的 web kettle 在线采集平台-附件资源
03-02
【开源】基于 SpringBoot 的 web kettle 在线采集平台-附件资源
不写代码轻松实现数据可视化，这款基于SpringBoot的神器，简直绝了
q1472750149的博客
01-05 288
之前有读者问我有没有什么好用的BI（Business Intelligence）工具？BI工具简单来说就是一种数据可视化工具。今天给大家推荐一款开源的数据可视化工具DataEase，基于SpringBoot实现，集成 Apache Doris + Kettle，可支持超大数据量秒级查询，希望对大家有所帮助！ SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozheng/… 简介 DataEase是一款号称人人可用的开源数据可视化分析工具，在Git...
java操作kettle
最新发布
AWU2021的博客
06-18 831
java操作kettle，支持自定义组件，预览数据，自定义监听器等功能
spring boot 调用kettle引入kettle jar包
luopengdlc的专栏
11-13 1874
第一种方式： 刚开始右击项目选择Build Path ——》ConfigurationBuild Path ——》Java Build Path——》Libraries——》Add External JAR选择要引入的jar包，这种方式调用kettle可以成功，但是在打jar包的时候回出现 程序包不存在错误。 第二种方式： 在resources目录下新建文件夹...
spring boot web项目 maven 调用kettle
li_wei_ying0809的专栏
11-01 5440
kettle的maven依赖没有找到，通过自己向maven库中添加，解决了springboot web项目调用kettle的问题 解决方法如下： 1.向maven中添加jar  需要添加的jar包包括：kettle-core.jar， kettle-engine.jar,metastore.jar,vfs2.jar, scannotation.jar 这些包在kettle的解压路径 pdi...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值