hive配置 kettle_kettle连接HDP3组件Hive3.1.0存取数据

最新推荐文章于 2024-08-02 16:17:27 发布

大脑正常人

最新推荐文章于 2024-08-02 16:17:27 发布

阅读量1.2k

点赞数 2

文章标签： hive配置 kettle

本文链接：https://blog.csdn.net/weixin_35731493/article/details/112440232

版权

本文介绍了在Kettle 8.3中连接HDP3.1.4集群上的Hive3.1.0的详细步骤，包括解决No suitable driver found错误，配置kettle的hadoop-configurations，拷贝Hive相关jar包，以及在启用kerberos环境下如何配置kettle连接Hive。

摘要由CSDN通过智能技术生成

1.近况

最近忙于更换工作一直没有更新自己的公众号，十一过后刚入职医疗行业大数据公司，主要还是从事Hadoop相关的工作，正好同事用到了Kettle从Oracle向Hive中抽取数据，周末有空就在自己集群研究了下，这里把采坑过程记录下，希望能帮助有需要的同学。

2.kettle报错研究过程

由于没有使用过kettle，一开始、下载了最新版的kettle7.0，经过各种百度，下载hive配置和jar包，但是总是连接不上hive，报各种错误，不一一举例了,直到报错：No suitable driver found for jdbc:hive2。

log4j:ERROR No output stream or file set for the appender named [pdi-execution-appender].九月 29, 2020 4:16:05 下午 org.apache.cxf.endpoint.ServerImpl initDestination信息: Setting the server‘s publish address to be /i18n2020/10/18 16:16:05 - dept.0 - Error occurred while trying to connect to the database2020/10/18 16:16:05 - dept.0 -2020/10/18 16:16:05 - dept.0 - Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)2020/10/18 16:16:05 - dept.0 - No suitable driver found for jdbc:hive2://worker1.hadoop.ljs:10000/lujisen

首先说下我这里hadoop用的是比较新的HDP3.1.4,各个组件版本分别是Hadoop3.1.1.3.1、Hive3.1.0,各种百度和看官网一直解决不了这个问题。折腾很久才发现，原来是版本不匹配，因为kettle连接hadoop集群，分为连接CDH还是HDP，从目录\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations 就可以看出，每个版本的kettle只能连接该目录下指定的集群版本，因为 pentaho-hadoop-shims*.jar 这个文件的是用来匹配kettle和集群版本的