kettle 导入plugin 操作

最新推荐文章于 2024-10-15 13:27:54 发布
最新推荐文章于 2024-10-15 13:27:54 发布
阅读量2.9k 收藏
点赞数
分类专栏： kettle pentaho 文章标签： kettle pentaho ETL 数据迁移 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mnloveyx/article/details/96149712
版权
  1. pom.xml 配置
		<properties>
		<java.version>1.8</java.version>
		
		<kettle.version>8.2.0.0-342</kettle.version>
		<impala.jdbc.version>2.6.9.1010</impala.jdbc.version>
	</properties>
		
        <dependency>
	            <groupId>org.pentaho</groupId>
	            <artifactId>kettle-core</artifactId>
	            <version>${kettle.version}</version>
	        </dependency>
	        <dependency>
	            <groupId>org.pentaho</groupId>
	            <artifactId>kettle-engine</artifactId>
	            <version>${kettle.version}</version>
	        </dependency>
	        <dependency>
	            <groupId>org.pentaho</groupId>
	            <artifactId>kettle-metastore</artifactId>
	            <version>${kettle.version}</version>
	        </dependency>
	        
	                <!-- https://mvnrepository.com/artifact/org.scannotation/scannotation -->
			<dependency>
			    <groupId>org.scannotation</groupId>
			    <artifactId>scannotation</artifactId>
			    <version>1.0.3</version>
			</dependency>
	        
	        <dependency>
		        <groupId>org.pentaho</groupId>
		        <artifactId>pentaho-big-data-kettle-plugins-hive</artifactId>
		        <version>${kettle.version}</version>
	    	</dependency>
	    	
   	       <dependency>
		        <groupId>org.pentaho</groupId>
		        <artifactId>pentaho-big-data-api-jdbc</artifactId>
		        <version>${kettle.version}</version>
	    	</dependency>
	        
	        <dependency>
	            <groupId>Impala</groupId>
	            <artifactId>ImpalaJDBC41</artifactId>
	            <version>${impala.jdbc.version}</version>
        	</dependency>

错误从XML文件读取转换

Unable to load database connection info from XML node

Unable to create new database interface

database type with plugin id [IMPALASIMBA] couldn't be found!
	at org.pentaho.di.trans.TransMeta.loadXML(TransMeta.java:3460)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2809)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2750)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2727)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2707)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2672)
	at org.pentaho.di.trans.TransMeta.<init>(TransMeta.java:2635)
	at com.example.test.TestApplicationTests.testEtl2(TestApplicationTests.java:81)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.lang.reflect.Method.invoke(Unknown Source)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.springframework.test.context.junit4.statements.RunBeforeTestExecutionCallbacks.evaluate(RunBeforeTestExecutionCallbacks.java:74)
	at org.springframework.test.context.junit4.statements.RunAfterTestExecutionCallbacks.evaluate(RunAfterTestExecutionCallbacks.java:84)
	at org.springframework.test.context.junit4.statements.RunBeforeTestMethodCallbacks.evaluate(RunBeforeTestMethodCallbacks.java:75)
	at org.springframework.test.context.junit4.statements.RunAfterTestMethodCallbacks.evaluate(RunAfterTestMethodCallbacks.java:86)
	at org.springframework.test.context.junit4.statements.SpringRepeat.evaluate(SpringRepeat.java:84)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:251)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:97)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
	at org.springframework.test.context.junit4.statements.RunBeforeTestClassCallbacks.evaluate(RunBeforeTestClassCallbacks.java:61)
	at org.springframework.test.context.junit4.statements.RunAfterTestClassCallbacks.evaluate(RunAfterTestClassCallbacks.java:70)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
	at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.run(SpringJUnit4ClassRunner.java:190)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:89)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:41)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:541)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:763)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:463)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:209)
Caused by: org.pentaho.di.core.exception.KettleXMLException: 
错误从XML文件读取转换

Unable to load database connection info from XML node

Unable to create new database interface

database type with plugin id [IMPALASIMBA] couldn't be found!




	at org.pentaho.di.trans.TransMeta.loadXML(TransMeta.java:3442)
	... 38 more
Caused by: org.pentaho.di.core.exception.KettleXMLException: 
Unable to load database connection info from XML node

Unable to create new database interface

database type with plugin id [IMPALASIMBA] couldn't be found!



	at org.pentaho.di.core.database.DatabaseMeta.<init>(DatabaseMeta.java:1017)
	at org.pentaho.di.trans.TransMeta.loadXML(TransMeta.java:3030)
	... 38 more
Caused by: org.pentaho.di.core.exception.KettleXMLException: 
Unable to create new database interface

database type with plugin id [IMPALASIMBA] couldn't be found!


	at org.pentaho.di.core.database.DatabaseMeta.<init>(DatabaseMeta.java:981)
	... 39 more
Caused by: org.pentaho.di.core.exception.KettleDatabaseException: 
database type with plugin id [IMPALASIMBA] couldn't be found!

	at org.pentaho.di.core.database.DatabaseMeta.findDatabaseInterface(DatabaseMeta.java:588)
	at org.pentaho.di.core.database.DatabaseMeta.getDatabaseInterface(DatabaseMeta.java:562)
	at org.pentaho.di.core.database.DatabaseMeta.<init>(DatabaseMeta.java:978)

System.setProperty(“KETTLE_PLUGIN_BASE_FOLDERS”, “D:\plugins”);

kettle 会自动扫描路径下面的插件以JAR形式加载

重写
引入org.pentaho.big.data.kettle.plugins.hive

@DatabaseMetaPlugin(type = "IMPALASIMBA", typeDescription = "Cloudera Impala")
public class ImpalaSimbaDatabaseMeta

  public ImpalaSimbaDatabaseMeta() {
    this(new DriverLocator()
        {
          public Driver getDriver(String arg0)
          {
            return null; }
        });
  }

开发

@Test
    public void testEtl2() {
        try {
        	
        	 String impalatomysql = "D:\\kettledev\\ktr\\impalatomysql.ktr";
        	 
        	 System.setProperty("KETTLE_PLUGIN_BASE_FOLDERS", "D:\\plugins");

            KettleEnvironment.init();
            TransMeta transMeta = new TransMeta(impalatomysql);
            Trans trans = new Trans(transMeta);

            // 设置变量(这些变量可以在.ktl中通过${variableName}来引用)
            String beginTime = "2019-04-02 00:00:00";
            String endTime = "2019-04-06 23:59:59";
            trans.setVariable("beginTime", beginTime);
            trans.setVariable("endTime", endTime);

            trans.execute(null);
            trans.waitUntilFinished();
            
            Result result = trans.getResult();
        } catch (KettleException e) {
            e.printStackTrace();
        }
    }
kettle插件
03-24
kettle-step插件，用于模糊数据
Kettle将数据导入导Hive2
01-07
 本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop ...
Java调用自己开发的Kettle plugin插件
qq_35436720的博客
04-02 1008
目前开发的 kettle WEb项目 , 通过设置 kettle的插件加载路径 无法找到插件并注册 System.setProperty("KETTLE_PLUGIN_BASE_FOLDERS",substring); //设置 KettleHome 出现 其他问题 手写注册 附上代码 List<String> empty = Collections.emptyList(); ...
Kettle 引入 Jar 包资源文件：轻松解决依赖问题
最新发布
gitblog_09750的博客
10-15 1003
Kettle 引入 Jar 包资源文件：轻松解决依赖问题 【下载地址】Kettle引入Jar包资源文件 Kettle 引入 Jar 包资源文件本仓库提供了一个资源文件 `kettle引入jar包.rar`，其中包含了以下三个 Kettle 相关的 jar 包：- `kettle-core-8.3.0.0-371.jar`...
pentaho data integration连接hadoop2.2.0
刘光华的专栏
12-25 2194
pdi即kettle，支持hadoop的操作，但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0，主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程，目前能够初步实现这个功能。        经本人测试，按照下面修改之后，可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Ou
kettle api 方式加载plugins 里面的插件
dqswuyundong的专栏
03-20 8407
在项目中，我们通常把kettle通过api的方式放到后台运行，很多人碰见了kettle的plugins下的插件怎么加载。    下面我给大家讲一下怎么加载plugins插件。    在执行ktr的时候，设置一下变量即可。如下    String KETTLE_PLUGIN_BASE_FOLDER = "D:\\pdi-ce-7.0.0.0-25\\data-integration\\plug
【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
热门推荐
Jack_Roy的博客
01-14 1万+
【ketlle集成cdh6.1】外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记 前言 最近试着上手了一下kettle，搭建过程很简单，就是下载个包解压一下，但是在配置数据源的过程中着实踩了不少坑，这里记录一下。 环境 这里介绍一下几个组件的版本 kettle: 8.0 CDH: 6.1.0 HADOOP: 3.0.0 MYSQL: 5.5.62 报错 在此之前，我已经从CDH HD...
kettle插件加载流程
1032851561的博客
10-28 1万+
前言kettle遵循着插件机制，基于插件使得kettle整个结构非常清晰，耦合性低，移植性强，特别是对kettle进行二次开发尤其方便，根据了解，扩展step类型的插件比较多，具体步骤可以参考：http://blog.csdn.net/d6619309/article/details/50020977 。通过了解插件的加载流程，不仅kettle的原理有深一层的认识，还有助于在进行二次开发遇到问题的...
Springboot管理Kettle任务，装载自定义插件
yanzi920403的博客
09-13 702
在初始化kettle环境的代码中加入这行代码： StepPluginType.getInstance().getPluginFolders().add(new PluginFolder("F:\\pdi-ce-7.1.0.0-12\\data-integration\\plugins\\kettle-solr-plugin", true, true)); 该目录就是需要引用的插件地址。 stackoverflow里有完整的解决方法， 参考 Java调用Kettle时，报Can't run ...
kettle引入jar包.rar
12-01
kettle引入jar包，里面包含kettle-core-8.3.0.0-371.jar，kettle-engine-8.3.0.0-371.jar，metastore-8.3.0.0-371.jar，这三个 jar 包，如果通过 maven 引入不成功可以尝试一下通过 maven 命令将这三个jar包导入到 ...
kettle 导入到hive
08-19
要将Kettle导入到Hive，有两种主要思路：直接配置JDBC连接HiveServer2，通过表输入和表输出组件进行转换；或者先将关系型数据库中的表导入到HDFS，再通过HDFS导入Hive表。具体的步骤如下： 第一种方式是直接连接...
Kettle Plugins.zip
03-24
Java调用Kettle的插件包
关于Kettle 转换、作业日志自动配置的解决方案
08-20
关于Kettle 转换、作业日志自动配置的解决方案
kettle连接clickhouse所需jar包（包含了操作手册）.rar
05-19
本教程将重点讨论如何使用Kettle连接到ClickHouse，并进行数据操作，同时会提及所提供的jar包和操作手册的作用。 首先，要让Kettle能够与ClickHouse交互，我们需要确保Kettle环境中包含了正确的JDBC驱动。"kettle...
kettle 从oracle数据库导数据到hive 表
03-23
在实际操作过程中，还需注意以下几点： - **性能优化**：对于大型数据集，考虑分批加载或利用 Kettle 中的并发执行功能来提高迁移效率。 - **异常处理**：针对可能出现的数据类型不匹配、空值处理等问题，提前在...
Kettle plugin 插件开发
Bluebelfast的专栏
01-27 1万+
pentaho的kettel的插件开发文档
kettle 插件开发
qq_19782697的博客
04-08 714
kettle-core：kettle的核心模块，包括一些数据处理等。 kettle-dbdialog：kettle数据库连接界面逻辑。 kettle-engine：kettle的引擎，负责执行kettle的具体作业和转换的逻辑，并会调用core模块。 kettle-ui-swt：用户界面模块，包括用户界面显示的xul文件，通过后端代码编写的Dialog以及国际化等。 pdi-assemblies：...
配置Kettle连接大数据HDFS
qq_61203814的博客
06-10 1414
进入 /home/hadoop/software/hadoop-3.3.0/etc/hadoop目录下，把core-site.xml,mapred-site.xml,yarn-site.xml 三个文件拷贝到 /home/hadoop/software/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp24 路径下。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。（5）启动kettle。
kettle通用插件[kettlePlugins]使用说明
无一技之长
06-06 1847
kettle通用插件[kettlePlugins]使用说明
Kettle实验3.1：文件导入导出操作指南
资源摘要信息:"在本实验中，我们将探索使用Kettle进行数据文件导入和导出的基本操作。Kettle（又称Pentaho Data Integration，PDI）是一个开源的ETL工具，用于实现数据仓库的解决方案，包括数据的提取、转换和加载...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值