Hadoop2.X的完全分布式安装手册
一、环境准备
1. 准备一组可用的服务器节点,建议至少三台服务器,分别作为主节点(NameNode)和多个从节点(DataNode)。
2. 确保所有服务器节点的操作系统版本一致。
3. 在所有服务器节点上安装Java Development Kit(JDK)。
二、安装Hadoop
1. 下载Hadoop的最新稳定版本,并解压到指定目录,例如:/usr/local/hadoop。
2. 配置Hadoop的环境变量,在/etc/profile文件中添加以下内容:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3. 在主节点上编辑Hadoop的配置文件:/usr/local/hadoop/etc/hadoop/hadoop-env.sh,设置JAVA_HOME变量,例如:
export JAVA_HOME=/usr/local/jdk
4. 在主节点上编辑Hadoop的主要配置文件:/usr/local/hadoop/etc/hadoop/core-site.xml,添加以下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
5. 在主节点上编辑Hadoop的从节点配置文件:/usr/local/hadoop/etc/hadoop/hdfs-site.xml,添加以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
6. 在主节点上编辑Hadoop的从节点配置文件:/usr/local/hadoop/etc/hadoop/yarn-site.xml,添加以下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
7. 在主节点上编辑Hadoop的从节点配置文件:/usr/local/hadoop/etc/hadoop/mapred-site.xml,添加以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
8. 在主节点上编辑Hadoop的从节点配置文件:/usr/local/hadoop/etc/hadoop/slaves,添加从节点的IP地址或主机名,每行一个。
hadoop01
hadoop02
hadoop03
三、启动集群
1. 在主节点上执行以下命令,格式化Hadoop的文件系统:
hdfs namenode -format
2. 在所有服务器节点上启动Hadoop集群:
start-dfs.sh
start-yarn.sh
3. 验证Hadoop集群的状态:
jps
应该能看到NameNode、DataNode、ResourceManager和NodeManager等进程。
至此,Hadoop2.X的完全分布式安装已完成。