Hadoop 3.3.6 + Tez 0.10.3 + Hive 4.0.0 安装指南

根据 Hive 官方发布说明，Hive 4.0.0 兼容 Hadoop 3.3.6 和 Tez 0.10.3，尝试搭建了一套单节点的环境用于学习

一、系统安装及配置

1. 操作系统：RHEL 9.4
2. IP地址: 192.168.1.10
3. 主机名: hadoop
4. 创建 hadoop 用户

   # 创建家目录
   mkdir /user
   # 创建用户
   useradd -m -d /user/hadoop hadoop
   # 设置密码
   passwd hadoop
   

5. 配置 SSH 免密登录

   # 切换到 hadoop 用户
   su hadoop
   # 生成 SSH 密钥对
   ssh-keygen -t rsa
   # 复制公钥
   ssh-copy-id hadoop
   

6. 安装 Java 8

   # 解压安装包
   tar xvf jdk-8u411-linux-x64.tar.gz -C /opt
   # 配置环境变量
   vim /etc/profile.d/hadoop.sh
   # JAVA
   export JAVA_HOME=/opt/jdk1.8.0_411
   export PATH=$PATH:$JAVA_HOME/bin
   

7. 安装 MySQL

   # 安装 MySQL 服务
   yum -y install mysql-server
   # 启动 MySQL
   systemctl start mysqld
   # 设置开机自动启动
   systemctl enable mysqld
   # 设置 root 密码
   mysqladmin -u root -p password
   

二、Hadoop 3.3.6

1. 配置环境变量

   vim /etc/profile.d/hadoop.sh
   # HADOOP
   export HADOOP_HOME=/opt/hadoop-3.3.6
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

2. 解压安装包

   source /etc/profile
   tar xvf hadoop-3.3.6.tar.gz -C /opt
   chown -R hadoop:hadoop $HADOOP_HOME
   

3. 修改配置文件
   • $HADOOP_HOME/etc/hadoop/workers

   hadoop
   

   • $HADOOP_HOME/etc/hadoop/core-site.xml

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://hadoop:9000</value>
       </property>
       <property>
           <name