Kettle连接HiveServer2配置和常见问题解决

最新推荐文章于 2024-07-17 10:41:39 发布

xingchensuiyue

最新推荐文章于 2024-07-17 10:41:39 发布

阅读量1.4k

点赞数 2

本文链接：https://blog.csdn.net/xingchensuiyue/article/details/109606728

版权

Kettle版本：pdi-ce-8.2.0.0-342.zip

Hive版本：apache-hive-2.3.0-bin.tar.gz

Hadoop版本：hadoop-2.7.3.tar.gz

Kettle关于Hadoop生态圈组件连接配置基本都在data-integration\plugins\pentaho-big-data-plugin目录下，如图：
在这里插入图片描述
其中plugin.properties配置文件中有两个主要参数：

（1）active.hadoop.configuration

# The Hadoop Configuration to use when communicating with a Hadoop cluster. This is used for all Hadoop client tools
# including HDFS, Hive, HBase, and Sqoop.
# For more configuration options specific to the Hadoop configuration choosen
# here see the config.properties file in that configuration's directory.
active.hadoop.configuration=hdp30

（2）hadoop.configurations.path

# Path to the directory that contains the available Hadoop configurations
hadoop.configurations.path=hadoop-configurations

两个参数主要配置Hadoop集群的版本，在hadoop-configurations目录下，提供了如下几个Hadoop集群版本：
在这里插入图片描述
其中cdh和hdp是目前用的比较多的两个版本。它们整合了Hadoop集群的各个组件，可以快速配置和部署。因为我们这里使用的是Apache开源的Hadoop集群，所以可以采用hdp30。选择hdp30，而不选择hdp26，主要是选择高版本可以向后兼容。
hdp30目录下，提供如下一些配置文件和jar包，如图：
在这里插入图片描述
我们这里连接Hive2，需要Hadoop集群支持，所以将Hadoop的配置文件core-site.xml，hdfs-site.xml和Hive的配置文件hive-site.xml拷贝过来（事先需要搭建好Hadoop和Hive集群）。

core-site.xml

<configuration>
    <property>
                <!-- 配置NameNode地址  -->
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata111:9000</value>
        </property>
        <property>
                <!-- 保存HDFS临时数据的目录  -->
                <name>hadoop.tmp.dir</name>
                <value>/root/bigdata/hadoop-2.7.3/tmp</value>
        </property>
        <property