Hadoop安装(集群版)

一主两从集群

192.168.32.128 bigdata01

192.168.32.129 bigdata02

192.168.32.130 bigdata03

基础环境准备

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

修改主机名

vim /etc/hostname

免登录设置

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

jdk配置

export JAVA_HOME=/home/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

主机host配置

编辑vim /etc/hosts

加入

192.168.32.128 bigdata01

192.168.32.129 bigdata02

192.168.32.130 bigdata03

然后ping bigdata02；ping bigdata02看是否网络连通

同步时间

yum install -ntpdate

ntpdate -u ntp.sjtu.edu.cn

避免时间不同步，将ntpdate -u ntp.sjtu.edu.cn 加入到crontab每天执行一次

主节点免密码登录从节点

将主节点上公钥拷贝到从节点

scp ~/.ssh/authorized_keys bigdata02:~/.ssh/

scp ~/.ssh/authorized_keys bigdata03:~/.ssh/

然后 ssh bigdata02；ssh bigdata03登录验证

Hadoop安装

在主节点上安装

1、把hadoop-3.2.0.tar.gz安装包上传到linux机器的/home/software目录下

2、解压hadoop安装包：tar -zxvf hadoop-3.2.0.tar.gz

3、 修改hadoop相关配置文件

cd hadoop-3.2.0/etc/hadoop/

首先修改hadoop-env.sh文件，在文件末尾增加环境变量信息

export JAVA_HOME=/home/jdk1.8
export HADOOP_LOG_DIR=/home/hadoop_repo/logs/hadoop

修改core-site.xml文件，注意fs.defaultFS属性中的主机名需要和主节点的主机名保持一致

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
    </property>
</configuration>

修改hdfs-site.xml文件，把hdfs中文件副本的数量设置为2，最多为2，因为现在集群中有两个从节点，

还有secondaryNamenode进程所在的节点信息

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:50090</value>
    </property>
</configuration>

修改mapred-site.xml，设置mapreduce使用的资源调度框架

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

修改yarn-site.xml，设置yarn上支持运行的服务和环境变量白名单

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASS</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata01</value>
    </property>
</configuration>

修改workers

[root@bigdata01 hadoop]# vi workers

bigdata02

bigdata03

修改启动脚本

[root@bigdata01 hadoop]# cd /data/software/hadoop-3.2.0/sbin
[root@bigdata01 sbin]# vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

[root@bigdata01 sbin]# vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改 start-yarn.sh ， stop-yarn.sh 这两个脚本文件，在文件前面增加如下内容

[root@bigdata01 sbin]# vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

[root@bigdata01 sbin]# vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在从节点上安装

把bigdata01节点上将修改好配置的安装包拷贝到其他两个从节点

[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata02:/home/software/

[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata03:/home/software/

格式化HDFS

在bigdata01节点上格式化HDFS

[root@bigdata01 soft]# cd /data/software/hadoop-3.2.0

[root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format

看到如下表示成功

2021-07-12 16:06:47,027 INFO common.Storage: Storage directory/data/hadoop_repo/dfs/name has been successfully formatted. 

启动集群

在bigdata01节点上执行下面命令

验证集群

分别在3台机器上执行jps命令，