Hadoop2.X的完全分布式安装手册

Hadoop2.X的完全分布式安装手册

一、环境准备

1. 准备一组可用的服务器节点，建议至少三台服务器，分别作为主节点（NameNode）和多个从节点（DataNode）。
2. 确保所有服务器节点的操作系统版本一致。
3. 在所有服务器节点上安装Java Development Kit（JDK）。

二、安装Hadoop

1. 下载Hadoop的最新稳定版本，并解压到指定目录，例如：/usr/local/hadoop。
2. 配置Hadoop的环境变量，在/etc/profile文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 在主节点上编辑Hadoop的配置文件：/usr/local/hadoop/etc/hadoop/hadoop-env.sh，设置JAVA_HOME变量，例如：
 

export JAVA_HOME=/usr/local/jdk

4. 在主节点上编辑Hadoop的主要配置文件：/usr/local/hadoop/etc/hadoop/core-site.xml，添加以下内容：
 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

5. 在主节点上编辑Hadoop的从节点配置文件：/usr/local/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容：
 

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

6. 在主节点上编辑Hadoop的从节点配置文件：/usr/local/hadoop/etc/hadoop/yarn-site.xml，添加以下内容：
 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

7. 在主节点上编辑Hadoop的从节点配置文件：/usr/local/hadoop/etc/hadoop/mapred-site.xml，添加以下内容：
 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8. 在主节点上编辑Hadoop的从节点配置文件：/usr/local/hadoop/etc/hadoop/slaves，添加从节点的IP地址或主机名，每行一个。

hadoop01
hadoop02
hadoop03

三、启动集群

1. 在主节点上执行以下命令，格式化Hadoop的文件系统：

hdfs namenode -format

2. 在所有服务器节点上启动Hadoop集群：

start-dfs.sh
start-yarn.sh

3. 验证Hadoop集群的状态：

jps

应该能看到NameNode、DataNode、ResourceManager和NodeManager等进程。

至此，Hadoop2.X的完全分布式安装已完成。