提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
最近公司需要用到ETL工具,考察了streamsets,kettle。可惜streamsets现在是非开源了,最新版本只能用云版,我们是内网pass,kettle被日立买了以后,变成了pentaho-kettle,我们需要web版,网上找了很多资源,发现都不满意,最后发现了Apache版本kettle——HOP,目前已经是Apache的顶级项目了,版本更新到了2.0,提供官方的web版本和GUI版本,不过web版本需要自己构建部署,这两天测试了构建部署,把中间遇到的问题记录一下,以备以后查看。
一、开发环境版本问题
因为JDK版本需要11及以上,因此idea版本要和maven配套:
idea2021 + maven[3.6.3-3.8.1]
idea2022 + maven[3.6.3-3.8.5]
另外Tomcat需要9.0以上版本
二、Pom文件配置问题
1.自带的pom中repositories添加以下配置
hop顶级目录下的pom.xml:
<repositories>
<repository>
<id>central</id>
<url>https://repo1.maven.org/maven2/</url>
<name>Maven Central</name>
<snapshots>
<enabled>false</enabled>
</snapshots>
<releases>
<enabled>true</enabled>
</releases>
</repository>
<repository>
<id>confluent</id>
<url>https://packages.confluent.io/maven/</url>
</repository>
<repository>
<id>clojars</id>
<url>https://repo.clojars.org</url>
</repository>
<repository>
<id>splunk</id>
<url>https://splunk.jfrog.io/splunk/ext-releases-local</url>
</repository>
<repository>
<id>redhat</id>
<url>https://maven.repository.redhat.com/ga/</url>
</repository>
</repositories>
2.如果失败,在maven的setting.xml文件中添加配置试试
<mirrors>
<!-- 阿里云仓库 -->
<mirror>
<id>aliyunmaven</id>
<mirrorOf>*,!confluent,!clojars,!spring-plugins,!splunk</mirrorOf>
<name>阿里云公共仓库</name>
<url>https://maven.aliyun.com/repository/public</url>
</mirror>
<!-- 中央仓库1 -->
<mirror>
<id>repo1</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>https://repo1.maven.org/maven2/</url>
</mirror>
<!-- 中央仓库2 -->
<mirror>
<id>repo2</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>https://repo2.maven.org/maven2/</url>
</mirror>
</mirrors>
<repositories>
<repository>
<id>confluent</id>
<url>https://packages.confluent.io/maven/</url>
</repository>
<repository>
<id>clojars</id>
<url>https://repo.clojars.org</url>
</repository>
<repository>
<id>spring-plugins</id>
<url>http://repo.spring.io/plugins-release/</url>
</repository>
<repository>
<id>spring-plugins</id>
<url>https://maven.aliyun.com/nexus/content/repositories/spring-plugin</url>
</repository>
<repository>
<id>splunk</id>
<url>https://splunk.jfrog.io/splunk/ext-releases-local</url>
</repository>
</repositories>
三、jar问题
解压出来的war包缺少一部分jar包,需要拷贝client.jar中的lib文件夹中的jar包到war包中的lib文件夹下。war包路径:assemblies\web\target\hop.war;client包路径:assemblies\client\target\hop-client-*.zip拷贝文件如下图
其他
PS:最好自带梯子,因为jar实在是太多了,500多个模块,我足足下了3天的包