配置HDFS集群(hadoop)

将环境先配置好可查看这个文档:https://blog.csdn.net/weixin_44777314/article/details/118055568?spm=1001.2014.3001.5501

1. 解压安装包

[root@hadoop01 software]# tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

2.配置core-site.xml核心配置文件
[root@hadoop01 hadoop]# vim /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

<configuration>
        <!--配置NameNode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <!-- 指定hadoop运行时存储的临时文件目录-->
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
</configuration>

3. 配置java环境变量

[root@hadoop01 hadoop]# vim /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
修改:
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
4. 配置hdfs-site.xml
[root@hadoop01 hadoop]# vim /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<configuration>
        <!-- 指定hdfs副本的数量-->
        <property>
          <name>dfs.replication</name>
          <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop01:50070</value>
        </property>
</configuration>

配置yarn
5. 配置jdk路径
[root@hadoop01 hadoop]# vim yarn-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
6. 配置yarn-site.xml
[root@hadoop01 hadoop]# vim /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

        <!--reduce获取数据方式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!--配置yarn的resourcemanager地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
</configuration>

7.配置mapreduce的jdk环境
[root@hadoop01 hadoop]# vim mapred-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
8. 配置mapred-site.xml
[root@hadoop01 hadoop]# mv mapred-site.xml.template mapred-site.xml

<configuration>
        <!--指定mapreduce的运行方式yarn-->
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
</configuration>

9. 配置dataNode节点
   [root@hadoop01 hadoop]# vim slaves
   hadoop01
   hadoop02
   hadoop03

10. 同步集群配置
    将Hadoop的安装在另外两台机器中进行配置

11. 启动集群方式
    方式一: 单节点启动HDFS
    [root@hadoop01 sbin]# ./hadoop-daemons.sh start/stop/restart namenode|datanode|secondarynamenode
    方式二: 多节点启动或关闭HDFS
    [root@hadoop01 sbin]# ./stop-dfs.sh 或者
    [root@hadoop01 sbin]# ./start-dfs.sh

12. 启动集群
    第一次启动需要格式化namenode,以后再次启动不需要再执行以下命令:
    [root@hadoop01 bin]# ./hadoop namenode -format
    启动HDFS集群:
    [root@hadoop01 sbin]# ./start-dfs.sh

//在电脑上输入,000.000.000.000:50070 进入集群查看:

其中有3个DataNode打开.