Hadoop 2.0生产环境（多机）搭建方法

步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；
步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；
步骤3：格式化并启动HDFS；

步骤4：启动YARN。

注意事项：
（1）主备NameNode有多种配置方法，本课程使用Journal Node方式。为此，需要至少准备3个节点作为Journal Node，这三个节点可与其他服务，比如NodeManager共用节点
（2）主备两个NameNode应位于不同机器上，这两台机器不要再部署其他服务，即它们分别独享一台机器。（注：HDFS 2.0中无需再部署和配置Secondary Name，备NameNode已经代替它完成相应的功能）
（3）主备NameNode之间有两种切换方式：手动切换和自动切换，其中，自动切换是借助Zookeeper实现的，因此，需单独部署一个Zookeeper集群（通常为奇数个节点，至少3个）。

1. HDFS HA部署方法
2. HDFS HA+Federation的部署方法
3. YARN部署方法

HDFS HA部署流程—hdfs-site.xml配置:

dfs.nameservices
集群中命名服务列表（自定义）
dfs.ha.namenodes.${ns}
命名服务中的namenode逻辑名称（自定义）
dfs.namenode.rpc-address.${ns}.${nn}
命名服务中逻辑名称对应的RPC地址
dfs.namenode.http-address..${ns}.${nn}
命名服务中逻辑名称对应的HTTP地址

dfs.namenode.name.dir
NameNode fsiamge存放目录
dfs.namenode.shared.edits.dir
主备NameNode同步元信息的共享存储系统
dfs.journalnode.edits.dir
Journal Node数据存放目录

HDFS HA部署流程—启动/关闭HDFS:

（注意：所有操作均在Hadoop安装目录下进行。）
步骤1：在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode
步骤2：在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
步骤3：在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby
步骤4：在[nn2]，启动NameNode：
sbin/hadoop-daemon.sh start namenode
（经过以上四步操作，nn1和nn2均处理standby状态）
步骤5：在[nn1]上，将NameNode切换为Active
bin/hdfs haadmin -transitionToActive nn1
步骤6：在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode

关闭Hadoop集群： 在[nn1]上，输入以下命令 sbin/stop-dfs.sh

HDFS HA+Federation部署流程—启动/关闭HDFS:

在nn1和nn2两个节点上进行如下操作：
步骤1：在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode
步骤2：在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode –format -clusterId hadoop-cluster
sbin/hadoop-daemon.sh start namenode
步骤3：在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby
步骤4：在[nn2]，启动NameNode：
sbin/hadoop-daemon.sh start namenode
（经过以上四步操作，nn1和nn2均处理standby状态）
步骤5：在[nn1]上，将NameNode切换为Active
bin/hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1

在nn3和nn4两个节点上进行如下操作：
步骤1：在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode
步骤2：在[nn3]上，对其进行格式化，并启动：
bin/hdfs namenode –format -clusterId hadoop-cluster
sbin/hadoop-daemon.sh start namenode
步骤3：在[nn4]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby
步骤4：在[nn4]，启动NameNode：
sbin/hadoop-daemon.sh start namenode
（经过以上四步操作，nn3和nn4均处理standby状态）
步骤5：在[nn3]上，将NameNode切换为Active
bin/hdfs haadmin -ns hadoop-cluster2 -transitionToActive nn3

最后：在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode

YARN启动/停止步骤:

在SY-0217上执行以下命令：
启动YARN： sbin/start-yarn.sh
停止YARN： sbin/stop-yarn.sh 在SY-0355上执行以下命令：
启动MR JobHistory Server： sbin/mr-jobhistory-daemon.sh start historyserver