kettle插件开发pom配置

最新推荐文章于 2023-03-03 17:01:51 发布
最新推荐文章于 2023-03-03 17:01:51 发布
阅读量603 收藏
点赞数
分类专栏： 数据科学 ETL 数据仓库
原文链接：https://blog.csdn.net/formemorywithyou/article/details/102674019
版权
数据仓库 同时被 3 个专栏收录
54 篇文章 7 订阅
订阅专栏
数据科学
52 篇文章 0 订阅
订阅专栏
ETL
38 篇文章 1 订阅
订阅专栏

目录

背景介绍

看过网上很多介绍kettle插件开发的博文，在真正开发之前存在很多繁琐的工作，例如：将kettle工具中的lib包安装到本地maven仓库。通常会执行如下操作：

  1. 打开kettle/data-integration/lib目录，执行如下命令
mvn install:install-file -Dfile=./kettle-core-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=kettle-core -Dversion=6.1.0.1-196 -Dpackaging=jar
mvn install:install-file -Dfile=./kettle-dbdialog-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=kettle-dbdialog -Dversion=6.1.0.1-196 -Dpackaging=jar
mvn install:install-file -Dfile=./kettle-engine-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=kettle-engine -Dversion=6.1.0.1-196 -Dpackaging=jar
mvn install:install-file -Dfile=./kettle-ui-swt-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=kettle-ui-swt -Dversion=6.1.0.1-196 -Dpackaging=jar
mvn install:install-file -Dfile=./pentaho-metadata-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=pentaho-metadata -Dversion=6.1.0.1-196 -Dpackaging=jar
mvn install:install-file -Dfile=./metastore-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=metastore -Dversion=6.1.0.1-196 -Dpackaging=jar

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  1. 打开kettle/data-integration/libswt/win64目录，执行如下命令
mvn install:install-file -Dfile=./swt-6.1.0.1-196.jar -DgroupId=org.pentaho.di -DartifactId=swt -Dversion=6.1.0.1-196 -Dpackaging=jar

 
 

 
 
  • 1

执行这一堆命令，我们可能稍微能忍受一下（毕竟都是搬运工嘛，复制粘贴一下就好了）。然而，往往我们自己使用的又不是6.1.0.1-196这个版本，或者kettle升级了，或者本地仓库重置了，亦或接手这个项目的后来者（比如我），我们这个脚本还要手动替换一下。

为了实现插件开发流程的简化，结合已有的maven插件对pom文件进行了简单的修改，毕竟maven的天职就是对依赖包的统一管理嘛！！！

pom配置

在打开IDE之前，需要配置一下kettle的系统环境变量KETTLE_HOME，这个环境变量会在pom中使用。举个例子，在windows系统中，KETTLE_HOME可以配置为D:\Program Files\kettle71，该目录为kettle的安装目录，其文件结构如下：

.
└── kettle71
    └── data-integration
        ├── classes
        │       └── ...
        ├── lib
        │       └── *.jar
        ├── libswt
        │   ├── linux
        │   │   ├── x86
        │   │   │   └── swt.jar
        │   │   └── x86_64
        │   │       └── swt.jar
        │   ├── osx64
        │   │   └── swt.jar
        │   ├── win32
        │   │   └── swt.jar
        │   └── win64
        │       └── swt.jar
       ....

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

打开IDE或直接打开maven管理的kettle插件工程，修改pom.xml文件：

  1. properties标签配置
    <properties>
        <kettle.version>7.1.0.0-12</kettle.version>
        <kettle.home.lib>${env.KETTLE_HOME}/data-integration/lib</kettle.home.lib>
        <kettle.home.libswt>${env.KETTLE_HOME}/data-integration/libswt/win64</kettle.home.libswt>
    </properties>

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  1. plugin标签配置
    添加maven-install-plugin插件：
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-install-plugin</artifactId>
        <version>2.4</version>
        <executions>
            <execution>
                <id>kettle-core</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>kettle-core</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\kettle-core-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>kettle-dbdialog</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>kettle-dbdialog</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\kettle-dbdialog-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>kettle-engine</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>kettle-engine</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\kettle-engine-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>kettle-ui-swt</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>kettle-ui-swt</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\kettle-ui-swt-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>pentaho-metadata</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>pentaho-metadata</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\pentaho-metadata-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>metastore</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>metastore</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.lib}\metastore-${kettle.version}.jar</file>
                </configuration>
            </execution>
            <execution>
                <id>swt</id>
                <goals>
                    <goal>install-file</goal>
                </goals>
                <phase>validate</phase>
                <configuration>
                    <groupId>org.pentaho.di</groupId>
                    <artifactId>swt</artifactId>
                    <version>${kettle.version}</version>
                    <packaging>jar</packaging>
                    <file>${kettle.home.libswt}\swt.jar</file>
                </configuration>
            </execution>
        </executions>
    </plugin>

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105

现在，只需要执行mvn validate命令即可将kettle依赖的jar包安装到本地的maven仓库。若更换kettle版本，只需更换properties标签中kettle.version的值即可。当然配置中还是存在依赖系统环境的缺陷，即${kettle.home.libswt}，在windows64中使用win64，若换linux需要将win64改为liunx/x86_64，目前还没找到更好的解决办法，如果有谁知道欢迎告知！

参考资料

  1. kettle通用插件[kettlePlugins]使用说明
  2. Apache install:install-file
  3. Maven安装jar文件到本地仓库
  4. Maven中的几个重要概念(二)：lifecycle, phase and goal
  5. Maven 生命周期
                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                                            <div class="more-toolbox">
            <div class="left-toolbox">
                <ul class="toolbox-list">
                    
                    <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count"></span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;1582594662_002&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/formemorywithyou">
                <img src="https://profile.csdnimg.cn/9/0/2/3_formemorywithyou" class="avatar_pic" username="formemorywithyou">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/2x/8.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/formemorywithyou" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">EricZeng05</a></span>
                                        </div>
                <div class="text"><span>发布了20 篇原创文章</span> · <span>获赞 15</span> · <span>访问量 8527</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=formemorywithyou" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>
mlj365
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pentaho Kettle二次开发（简单数据交换）之SpringBoot+Maven集成Kettle
一位葛先生
03-10 1万+
自己在做集成时，网上信息都是零散的，在这里汇总一下，加一些自己的想法。 这里要实现一个简单的对库对表数据交换，并实现灵活可配置。 根据Kettle转化的特性，仅需要配置以下几个属性： 1.输入输出数据库属性 2.输入输出表名，输出数据表数据池，可设计灵活配置SQL限制范围。 3.字符串数组形式的输入输出表字段。 集成步骤 一，引入jar包 Maven仓库：kettle中央仓库里没有，需要单独...
maven拉取pentaho-kettle依赖
最新发布
记忆商店
07-12 434
pentaho-kettle不在maven中央仓库里，且官方不再维护，所以中央库和阿里镜像库都拉取不到。两个完整的xml文件。
springboot 集成kettle核心包依赖文件配置信息pom.xml
10-22
springboot 集成kettle核心包依赖文件配置信息pom.xml
kettle demo二次开发pom.xml
maenlai0086的博客
02-01 985
&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0...
kettle安装配置全过程
程序一笑
05-26 794
kettle各版本下载 kettle各版本国内镜像下载地址：http://mirror.bit.edu.cn/pentaho/Data%20Integration/ 下载之后解压即可，无需安装。 kettle环境配置 安装JDK 由于Kettle是使用Java语言编写的，运行需要有Java环境，故需要安装JDK。 说明：kettle7.1需要使用的jdk版本为1.8，否则无法启动kettle。 jdk安装完成后需要配置环境变量，参考：https://blog.csdn.net/renliang
kettle的maven远程仓库配置
weixin_42855525的博客
03-03 1339
kettle二次开发时需要的jar包（kettle-core、kettle-engine包下载）
kettle_demo.rar
06-05
1. **添加依赖**：首先，你需要在SpringBoot项目的pom.xml文件中添加Kettle的相关依赖，包括核心库和任何特定插件。这可以通过Maven的JAR包完成，如描述中所述。 2. **初始化Kettle环境**：在SpringBoot的启动类中...
dataCollection项目在kettle基础开发的可视化任务调度系统
11-14
"dataCollection"项目是基于Kettle（Pentaho Data Integration，PDI）进行开发的，它旨在创建一个可视化的任务调度系统，以简化用户的操作流程。在这个系统中，用户无需深入学习复杂的crontab调度机制，就能轻松配置...
KETTLE工具的相关jar包 下载直接使用即可
12-11
10. **其他插件库**：Kettle有一个开放的插件机制，很多社区开发的插件也会提供相应的jar包，如`pentaho-kettle-plugins-get-sql.jar`用于获取数据库表结构，`pentaho-kettle-plugins-hadoop-cluster-ui.jar`用于...
pentaho-kettle-8.2.zip
08-13
5. **插件支持**：Pentaho Kettle有丰富的插件生态系统，支持添加自定义数据源、转换步骤和输出格式。这极大地扩展了其功能范围，适应不同的业务场景。 6. **部署与执行**：Pentaho Kettle不仅可以本地运行，还可以...
Maven 构建 Kettle 时所需的部分jar包
10-20
Maven 构建 Kettle 时所需的部分jar包，具体构建操作请参考 http://blog.csdn.net/dongyuan234/article/details/78293699
java调用kettle的依赖包
02-19
9. **插件开发**：如果需要扩展Kettle的功能，可以开发自定义插件。Kettle提供了一个插件架构，允许开发者创建新的步骤、转换、作业等，并与Java代码集成。 10. **资源管理和关闭**：在完成Kettle的执行后，别忘了...
idea+springboot+maven项目集成kettle
weixin_40580131的博客
01-31 1575
idea+springboot+maven项目集成kettle
工具系列-maven把本地jar包打入本地仓库
GeekPlusA的博客
12-06 423
把kettle0.0.9打入本地仓库 mvn install:install-file -DgroupId=org.pentaho.di -DartifactId=pdi -Dversion=9.0.0.0-SNAPSHOT -Dfile=D:\work\workspace\git\pentaho-kettle\core\target\kettle-core-9.0.0.0-SNAPSHOT.ja...
Springboot整合kettle项目案例
dsen726的博客
03-11 4691
一、前言 地址：Kettle中文网 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformatio
Springboot+Kettle(Spoon)
热门推荐
K One
07-28 1万+
Springboot集成kettle实战介绍项目截图java+kettle实战代码1 pom.xml2 kettleUtil3 业务层方法a 资源库业务b 转换的相关业务c 完整代码 介绍 kettle就不介绍了,Web界面极其简单、丑陋，生产环境无法投入使用.所以这篇实战内容是springboot结合kettle的web端执行已经在spoon客户端做好的ktr和kjb(既:这里不包括web页面制作ktr和kjb).主要功能如下: web页面选择本地文件夹作为资源库 从已配置好的资源库里选择ktr和kj
pentaho-kettle-8.2.0.0-R源码开发环境搭建
chunguang5302的博客
06-16 2596
1.从Kettle官网下载源码，本文使用的是pentaho-kettle-8.2.0.0-R 下载地址：https://codeload.github.com/pentaho/pentaho-kettle/zip/8.2.0.0-R 2.打开eclipse,选择一个新的工作空间，然后设置m...
springboot通过maven打包时包含本地依赖jar包解决方法
代码大师麦克拉瑞的博客
07-08 4548
最近在用springboot集成kettle做数据传输，kettle依赖的jar包在阿里云仓库没有，因此从kettle文件夹下面找到了相关包，放在项目resources/lib目录下，想通过本地引用的方式依赖。目录如下图 引用方式则需要在pom中进行配置,其中project.basedir是一个常量，标识和pom同级目录，这个使用就好了不用设置。 <dependency> <groupId>pentaho-kettle</groupId>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值