HADOOP3.3.0 安装配置

一、 配置DNS

vim /etc/hosts

192.168.2.33    hadoop01
192.168.2.34    hadoop02
192.168.2.35    hadoop03
192.168.2.36    hadoop04

二、关闭防火墙

# 关闭防火墙
systemctl stop firewalld

# 关闭自启动
systemctl disable firewalld

三、配置JDK环境

上传jdk-8u231-linux-x64.tar.gz到服务器

tar -zxvf jdk-8u231-linux-x64.tar.gz
mv jdk1.8.0_231 /opt/
# 创建软连接
ln -s /opt/jdk1.8.0_231 /opt/jdk

# 配置java环境
vim /etc/profile

# 在最后加上
# Java
export JAVA_HOME=/opt/jdk
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

# 使环境变量生效
source /etc/profile

# 验证java安装
java -version

四、搭建Hadoop完全分布式集群

1.下载hadoop

wget https://apache.website-solution.net/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

2.配置hadoop环境变量

# 解压到opt下
tar -zxvf hadoop-3.3.0.tar.gz -C /opt/

vim /etc/profile
# hadoop
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

# 保存后，使profile生效
source /etc/profile

3.配置Hadoop环境脚本文件中的JAVA_HOME参数

cd /opt/hadoop-3.3.0/etc/hadoop
#分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数
vim hadoop-env.sh
vim mapred-env.sh
vim yarn-env.sh
export JAVA_HOME="/opt/jdk"

4.修改Hadoop配置文件

创建文件夹

mkdir -p /opt/hadoop/tmp

Hadoop安装目录下的etc/hadoop目录中，需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers

cd /opt/hadoop-3.2.0/etc/hadoop

1. core-site.xml （配置Common组件属性）

<configuration>
  <property>
      <!-- 配置hdfs地址 -->
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop01:9000</value>
  </property>
  <property>
      <!-- 保存临时文件目录，需先在/opt/hadoop下创建tmp目录 -->
      <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop/tmp</value>
 </property>
 </configuration>

2. hdfs-site.xml （配置HDFS组件属性）

<configuration>
    <property>
        <!-- 主节点地址 -->
        <name>dfs.namenode.http-address