java以api的方式集成调用kettle

已于 2022-03-31 13:49:25 修改
阅读量8.4k 收藏 19
点赞数 7
分类专栏： java kettle 文章标签： java maven
于 2022-03-31 13:23:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32577829/article/details/123867367
版权

一、kettle集成调用的多种方式。

kettle集成调用的方式有多种，比如：

1、脚本的方式，windows下以bat脚本调用，Linux下以sh脚本调用。

2、http请求carte服务的方式进行集成调用。java端可以采用httpclient api去调用carte。

3、以java工程引入kettle依赖，采用api集成的方式调用。

二、为什么要以api的方式集成kettle

因为第一点提到的1、2两点，都需要在服务节点端安装kettle，且脚本的方式调用要维护多套系统执行脚本。而以carte服务http请求调用的方式，又会涉及集群部署的问题。这两点都增加了运维的成本。本人从事银行金融方向的系统产品研发，接触过多家银行。银行业比较抵触安装过多的组件。集成方案越简单，安全稳定系数越高越好。所以个人比较推崇以api的方式集成kettle。此种方式只需要将利用spoon可视化界面编写好的流程脚本放在指定的磁盘目录下，用api的方式调用执行即可。

三、集成

因为maven管理比较方便，所以本人将kettle所有的依赖包本地编译安装至maven私有仓库，然后在pom中引入相关依赖的方式集成安装。以下是依赖和集成安装方式：

3.1、下载kettle相关依赖：

百度网盘地址：(过期的话，请评论区留言获取新地址，谢谢)

链接：https://pan.baidu.com/s/1gpiOkT1QnKKQCLmi7GRjrA 
提取码：mcm3

3.2、编译安装至本地maven库

mvn install:install-file -Dfile=E:\job\lib\kettle-core-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=kettle-core -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\kettle-engine-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=kettle-engine -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\metastore-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=metastore -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\pentaho-vfs-browser-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=pentaho-vfs-browser -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\pdi-dataservice-client-plugin-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=pdi-dataservice-client-plugin -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\pdi-dataservice-client-plugin-api-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=pdi-dataservice-client-plugin-api -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\pentaho-mongo-utils-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=pentaho-mongo-utils -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\pentaho-mongodb-plugin-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=pentaho-mongodb-plugin -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\scannotation-1.0.2.jar -DgroupId=org.pentaho -DartifactId=scannotation -Dversion=1.0.2 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\json-8.3.0.0-371.jar -DgroupId=org.pentaho -DartifactId=json -Dversion=8.3 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\jsonpath-1.0.jar -DgroupId=org.pentaho -DartifactId=jsonpath -Dversion=1.0 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\json-simple-1.1.jar -DgroupId=org.pentaho -DartifactId=json-simple -Dversion=1.1 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\simple-jndi-1.0.2.jar -DgroupId=org.pentaho -DartifactId=simple-jndi -Dversion=1.0.2 -Dpackaging=jar
mvn install:install-file -Dfile=E:\job\lib\javax.mail-1.6.1.jar -DgroupId=javax.mail -DartifactId=mail -Dversion=1.6.1 -Dpackaging=jar

3.3、maven引入：

kettle引入：

<properties>
    <kettle.version>8.3</kettle.version>
    <skipTests>true</skipTests>
</properties>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>kettle-core</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>kettle-engine</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>metastore</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>pentaho-vfs-browser</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>pdi-dataservice-client-plugin</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>pdi-dataservice-client-plugin-api</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>pentaho-mongo-utils</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>pentaho-mongodb-plugin</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>scannotation</artifactId>
    <version>1.0.2</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>json</artifactId>
    <version>${kettle.version}</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>jsonpath</artifactId>
    <version>1.0</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>json-simple</artifactId>
    <version>1.1</version>
</dependency>
<dependency>
    <groupId>org.pentaho</groupId>
    <artifactId>simple-jndi</artifactId>
    <version>1.0.2</version>
</dependency>
 <dependency>
    <groupId>javax.mail</groupId>
    <artifactId>mail</artifactId>
    <version>1.6.1</version>
</dependency>

间接依赖引入：

<!-- 其他需要的基础包 -->
<dependency>
    <groupId>org.javassist</groupId>
    <artifactId>javassist</artifactId>
    <version>3.20.0-GA</version>
</dependency>
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>17.0</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.7</version>
</dependency>
<dependency>
    <groupId>commons-codec</groupId>
    <artifactId>commons-codec</artifactId>
    <version>1.10</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-vfs2</artifactId>
    <version>2.2</version>
</dependency>
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.2</version>
</dependency>
<dependency>
    <groupId>commons-lang</groupId>
    <artifactId>commons-lang</artifactId>
    <version>2.6</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.9</version>
</dependency>
<dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>commons-compiler</artifactId>
    <version>3.0.8</version>
</dependency>
<dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>janino</artifactId>
    <version>3.0.8</version>
</dependency>
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.3</version>
</dependency>
<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.14</version>
</dependency>
<dependency>
    <groupId>io.reactivex.rxjava2</groupId>
    <artifactId>rxjava</artifactId>
    <version>2.2.3</version>
</dependency>
<dependency>
    <groupId>com.jcraft</groupId>
    <artifactId>jsch</artifactId>
    <version>0.1.54</version>
</dependency>
<dependency>
    <groupId>org.mozilla.javascript</groupId>
    <artifactId>com.springsource.org.mozilla.javascript</artifactId>
    <version>1.7.0.R2</version>
</dependency>
<dependency>
    <groupId>javax.activation</groupId>
    <artifactId>activation</artifactId>
    <version>1.1</version>
</dependency>
<dependency>
    <groupId>javax.mail</groupId>
    <artifactId>mail</artifactId>
    <version>1.6.1</version>
</dependency>
<dependency>
    <groupId>org.jetbrains</groupId>
    <artifactId>annotations</artifactId>
    <version>13.0</version>
    <scope>compile</scope>
</dependency>

四、执行集成调用测试：

源码地址：(过期的话，请评论区留言获取新地址，谢谢)

链接：https://pan.baidu.com/s/1L_BoJ55SJtzw0s6NqINTMQ 
提取码：zizj

五、结果截图：

淤泥里的咸鱼
关注
  • 7
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 56
    评论
专栏目录
java集成kettle 9.2.0开发
qq_42796953的博客
08-09 3908
java集成Kettle以及Kettle简介
java调用kettle_api_jar包依赖.zip
08-13
Java调用Kettle API涉及到的是将Java程序与Pentaho Kettle（也称为Spoon）集成，以便在Java应用程序中执行ETL（提取、转换、加载）任务。Kettle是一款强大的开源数据集成工具，提供了丰富的API接口供开发者使用。在...
java调用kettle api 制作转换-- 表输入输出
qxyu的博客
08-08 537
使用的jar包：具体jar包获取可以参考这里编译获取https://blog.csdn.net/weixin_43889494/article/details/132211256?​ 如图所示，我们需要 一个连接源(输入对象和输出对象使用了同一个源)、一个表输入对象、一个表输出对象、一个hop对象。2.数据源，这里数据源使用了常规jdbc url,驱动，账号，密码形式，一般使用国产化关系型数据库用这个即可。用kettle来完成如图所示的样例 表输入->表输出。1.初始化kettle环境(非常重要)
kettle组件之java代码，快速上手必看
最新发布
信徒博客
05-28 781
难点：1、我不想要把处理后的值覆盖掉原来的值，而是创建一个新的字段，给这个新的字段赋值。3、get(Fields.in,"字段名").getString(r);功能、获取记事本里面的数据，把这个数据进行简单的处理，然后输出;获取这一行数据中，对应的字段名并且是值是字符串类型的数据。2、其次我不想要之前的字段，很冗余。我们先了解不同于java代码的kettle的一些方法。2、get(Fields.in,"字段名");6、logBasic("数据是: " +b);获取具体的某个字段的名称。
kettle 调用java代码调用接口获取数据
qq_31532979的博客
04-18 495
请注意在使用这段代码获取数据之前，要确保接口的地址是正确可访问的。另外，由于这是一个简单的示例，没有处理异常和错误情况。在实际使用中，你可能需要进行错误处理和异常捕获。欢迎关注微信公众号：数据科学与艺术 作者WX:superhe199。最后将读取的数据拼接成一个字符串，并打印出来。这个对象用于设置请求方法、发送请求并获取响应。类来进行HTTP请求获取数据。对象，指定要请求的接口地址。在上面的代码中，我们首先创建一个。方法获取响应的输入流，然后使用。如果请求成功，我们可以通过。
手把手教你使用Kettle JAVA API进行数据抽取
weixin_40479337的博客
05-29 1321
Kettle作为一款优秀的数据抽取程序，因为高效稳定的性能，一直被广大使用者所喜爱，并且还在国内广受好评。因为其本身使用纯JAVA编写，所以其JAVA API使用起来自然也是非常简便。虽然其本身自带的组件已经非常好用，并且能够满足丰富的场景。但可能有些场景下，我们可能需要通过其他的方式来实现，本篇我们将介绍Kettle的JAVA API的使用。 一、环境搭建 Pentaho官方仓库：https://nexus.pentaho.org/content/groups/omni 核心jar包的pom.xml配..
java整合kettle--实现数据定时同步
mao19940425的博客
06-12 2613
工具：springboot，kettle核心jar包（xxl-job，jenkins，k8，docker）实现数据库的增量同步，需要编写好kettle转换文件以配置文件的形式，整合到springboot，有改动只需要更换转换文件，不需要更新jar包，job用于灵活调整定时同步，再结合jenkins自动部署，十分方便。1、首先用kettle画图制作转换文件，Spoon.bat启动；2、springboot整合结构：依赖：lib存放kettle的核心jar包(在kettle软件的lib里都有):核心代码： /*
Java web项目创建笔记26 之《整合kettle》
csj50的专栏
01-26 2240
kettle是一个ETL工具，用于数据的抽取、转换、加载功能，我们可以在java里加载kjb文件或者ktr文件 1、pom文件添加依赖 <kettle.version>9.1.0.0-324</kettle.version> <!-- kettle --> <dependency> <groupId>pentaho-kettle</groupId> <artifactId>kettle-core</art
编写后端接口调用Kettle数据仓库
weixin_43489347的博客
11-24 1146
编写后端接口调用Kettle数据仓库 前言 在报表查询统计中我们会用到kettle数据仓库工具，采用定时任务执行kettle转换弹性较小，有时无法满足业务需求，因此需要后端开发人员提供给前端人员一个调用kettle转换的接口。 环境准备 1、jdk 2、kettle（版本采用8.0+，9.0版本缺少配置文件） 步骤 kettle安装目录不要太深，并且不要有中文路径。 修改配置文件数据库地址，配置文件为pdi-ce-8.2.0.0-342\data-integration\simple-jndi\jd
KETTLE JAVA API学习
技术并艺术着
05-24 8952
 /**KETTLE是一个开源的ETL工具，运行本程序，应该确保在SQL Server中有相应数据库asop2,asop3，在asop2中有表department_user,但在表  asop3中有没有表test2均行。（相应的数据库名，表名，用户名，密码可看程序修改）。另外，应该在spoon.bat中打开后建立存储库与asop2及asop3两个连接（连接名应与数据库名一致）。感觉KETTLE没有
java代码启动kettle,java远程调用kettle说明与代码.docx
weixin_26735445的博客
03-21 311
PAGE 7第 PAGE 7页 共 SECTIONPAGES 7页Kettle远程任务执行远程服务器说明KETTLE 提供了名为carte的web server 程序，也叫slave server ,启动该程序可以把主机作为kettle的运行服务器，可以接收其他kettle客户端发送过来的ETL任务。此功能为ETL任务分布式执行提供了方便。可以在多个服务器上运行carte web serv...
利用kettle的api运用Java代码完成数据转换到excel和数据库源码
11-05
利用kettle的api运用Java代码完成数据转换到excel和数据库源码，自己看了2天kettle的源码，写的2个简单小例子，供大家参考，网上搜这个资料太少了！希望其他人也能上传些相关资料！
java调用kettle的jar
02-21
用于java调用kettlektr文件的jar,在kettle官网下载图形化界面里面也包含
java远程调用kettle说明与代码
09-27
java远程调用kettle说明与代码
java集成kettle所有jar包
03-23
然而，在Java应用程序中集成Kettle，需要将相关的Jar包添加到项目的类路径中，以便能够调用其API来执行工作流或转换。 首先，要理解Java与Kettle的集成，我们需要知道Kettle的主要组件。Kettle由以下几部分组成： ...
java调用kettle提供的API实现数据抽取DEMO
10-30
Java调用Kettle API实现数据抽取DEMO是一个典型的ETL（提取、转换、加载）过程，其中Kettle（又称Pentaho Data Integration或KDI）是一个强大的数据集成工具，允许开发者通过图形化界面或者编程方式处理数据迁移和...
java调用kettle的依赖包
02-19
Java调用Kettle的能力使得这种集成成为可能，为业务流程提供了更大的灵活性。以下是一些关于如何在Java项目中使用Kettle的依赖包以及相关知识点的详细说明： 1. **Kettle Java API**：Kettle提供了Java API，使得...
Java调用kettle
zhuzi51的专栏
06-28 377
楔子 学习笔记，学习的过程中发现一个不错的demo。感觉不错 地址 JOB调用 https://www.javatips.net/api/org.pentaho.di.job.job 转换调用 https://www.javatips.net/api/org.pentaho.di.trans.Trans JINDI设置 看源码发现的设置JNDI的方式 /** * kettle_home是在 设定目录下面的.kettle文件夹 */ public static voi
java 调用kettle api实现数据同步
05-25
Kettle 是一款开源的 ETL 工具，提供了丰富的 API，可以通过 Java 调用 Kettle API 实现数据同步。下面是一个简单的示例： 1. 导入 Kettle 依赖包 Kettle 的依赖包可以从官网下载，也可以通过 Maven 引入。在 pom.xml 文件中添加以下依赖： ```xml <dependency> <groupId>org.pentaho</groupId> <artifactId>kettle-core</artifactId> <version>9.1.0.0-324</version> </dependency> ``` 2. 创建 Kettle 连接 使用 Kettle API 前需要创建一个 Kettle 连接，可以通过以下代码创建： ```java KettleEnvironment.init(); DatabaseMeta databaseMeta = new DatabaseMeta("mysql", "mysql", "Native (JDBC)", "localhost", "3306", "test", "root", "password"); Database database = new Database(null, databaseMeta); database.connect(); ``` 其中，`DatabaseMeta` 是数据库连接的元数据，包括数据库类型、主机名、端口号、数据库名、用户名和密码等信息；`Database` 是数据库连接对象，通过 `connect()` 方法连接数据库。 3. 创建转换并执行 Kettle 中的数据同步是通过转换（Transformation）实现的，转换包含了数据源、目标、转换规则等信息。可以通过以下代码创建转换并执行： ```java TransMeta transMeta = new TransMeta("path/to/transformation.ktr"); Trans trans = new Trans(transMeta); trans.execute(null); trans.waitUntilFinished(); if (trans.getErrors() > 0) { throw new RuntimeException("Transformation failed with errors!"); } ``` 其中，`TransMeta` 是转换元数据，包含了转换的各种信息，如输入输出、转换步骤等；`Trans` 是转换对象，通过 `execute()` 方法执行转换，`waitUntilFinished()` 方法等待转换完成，`getErrors()` 方法获取转换过程中的错误数量。 以上是基本的 Kettle API 调用流程，具体的实现还需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 56
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值