Hadoop集群的搭建

1.打开hadoop安装目录，然后进入 etc/hadoop目录下，这里面就是hadoop的配置文件了

2.修改 hadoop-env.sh 文件

找到下图位置，将注释去掉，路径改成自己的jdk安装路径

3.修改 yarn-env.sh 文件

找到如图位置，去掉注释，将路径改成自己的jdk安装路径

4.修改 core-site.xml 文件

在配置文件中添加如下信息

<!-- hadoop的核心配置文件 -->
<configuration>
        <property>
                <!-- 指定namenode（主节点）在hadoop01虚拟机上 -->
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <!-- 块大小 -->
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <!-- hadoop的临时目录 -->
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/hadoop/tmp</value>
        </property>
</configuration>

5.修改 hdfs-site.xml 文件

在配置文件中添加如下信息

<!-- 配置datanode（子节点）进程 -->
<configuration>
        <property>
               <name>dfs.namenode.name.dir</name>
               <value>file:/usr/hadoop/dfs/name</value>
        </property>
        <property>
               <name>dfs.namenode.data.dir</name>
               <value>file:/usr/hadoop/dfs/data</value>
        </property>
        <property>
                <!-- 指定HDFS副本的数量（一般几个子节点就设置为几个） -->
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

6.修改 mapred-site.xml 文件

在配置文件中添加如下信息

<!-- MapReduce的核心配置文件，指定MapReduce的运行框架为YARN -->
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.address</name>
               <value>hadoop01:10020</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>hadoop01:19888</value>
        </property>
</configuration>

7.修改 yarn-site.xml 文件

hadoop01是主节点的主机名

<configuration>
<!-- 指定YARN集群的管理者（ResourceManager）的地址 -->
<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>hadoop01:8032</value>
        </property>
        <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>hadoop01:8030</value>
        </property>
        <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>hadoop01:8031</value>
        </property>
        <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>hadoop01:8033</value>
        </property>
        <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>hadoop01:8088</value>
        </property>
        <property>
                <!-- NodeManager的附属服务 -->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

8.修改 masters 文件

这个文件没有的，需要创建编写，指令 vi masters

9.修改 slaves 文件

这里写子节点的配置信息，IP地址

 

 10.拷贝分发

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/
[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

11.格式化

出现 successfully 就说明成功了，否则的会提示报错

 12.启动集群

start-all.sh是一键启动的指令（必须要求互相之间能够免密登陆）

[root@hadoop01 hadoop]# start-all.sh

13.查看节点状态

 可以输入 jps 查看虚拟机的状态