hadoop + hive 环境搭建

最新推荐文章于 2024-06-22 19:52:27 发布

windows_oracle

最新推荐文章于 2024-06-22 19:52:27 发布

阅读量259

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/windows_oracle/article/details/112887249

版权

本文介绍了在年前搭建Hive平台的步骤，包括下载安装包，安装JDK，配置Hadoop环境变量，修改相关配置文件如core-site.xml、hdfs-site.xml等。在Hive配置中，重点强调了hive-site.xml的设置，以及解决Hadoop用户问题、DataNode节点问题、log4j冲突和guava版本冲突的方法。

摘要由CSDN通过智能技术生成

年前事情不多，搭建一套hive平台。

1.首先下载安装包：

hadoop-3.2.2.tar.gz

jdk-8u271-linux-x64.tar.gz

apache-hive-3.1.2-bin.tar.gz

mysql-connector-java-5.1.48.tar.gz

以上包还包括mysql 因为本机已经装过，下面安装都是按照默认mysql 已安装为主。

2. jdk安装因为hadoop 3需要jdk 1.8 以上，下载1.8 即可。

3.其他安装流程网上好多不做过多说明，主要说起配置：

1.环境变量:

vi /etc/profile 根据自己实际安装路径而来。

JAVA_HOME=/var/hadoop/java/jdk1.8.0_271
JRE_HOME=/var/hadoop/java/jdk1.8.0_271/jre
CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH



export HADOOP_HOME=/var/hadoop/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


export JAVA_LIBRARY_PATH=/var/hadoop/hadoop-3.2.2/lib/native

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"


export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root


export HIVE_HOME=/var/hadoop/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin

2.hadoop-env.sh

增加jdk 配置，由于本机器免密开放端口非默认端口需要做配置 10033

JAVA_HOME=/var/hadoop/java/jdk1.8.0_271

export HADOOP_SSH_OPTS="-p 10033"

3.core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-master:9000</value>
        <description>HDFS的URI，文件系统://namenode标识:端口号</description>
        </property>
        <