cdh hadoop2集群安装

cdh hadoop2集群安装

tar安装

hadoop2软硬件准备

1. 准备硬件（linux）
2. 准备软件安装包，并安装基础软件（主要jdk）
3. 将hadoop安装包分发到各个节点的同一个目录下，并解压
4. 修改配置文件
5. 启动服务
6. 验证是否启动成功

http://archive.cloudera.com/cdh5/cdh/5/

hdfs安装方式

启动Namenode

1. 在各个JournalNode节点上，输入以下命令启动journalnode
   sbin/hadoop-daemon.sh start journalnode

2. 在[nn1]上对其进行格式化，并启动：
   bin/hdfs namenode -format
   sbin/hadoop-daemon.sh start namenode

3. 在[nn2]上，同步nn1的元数据信息：
   bin/hdfs namenode -bootstrapStandby

4. 在[nn2]，启动NameNode
   sbin/hadoop-daemon.sh start namenode
   (经过以上4步操作，nn1和nn2均处理standy状态)
5. 在[nn1]上，将NameNode切换为Active
   bin/hdfs haadmin -transitionToActive nn1
6. 在[nn1]上，启动所有datanode
   sbin/hadoop-daemons.sh start datanode

关闭hadoop集群：在[nn1]上，输入以下命令sbin/stop-dfs.sh

验证是否启动成功
IP:50070

hadoop faderation

在nn1和nn2两个节点上进行如下操作

1. 在journalNode节点上，输入以下命令启动：
   sbin/hadoop-daemon.sh start journalnode
2. 在[nn1]上，对其进行格式化，并启动：
   bin/hdfs namenode -format -clusterId hadoop-cluster
   sbin/hadoop-daemon.sh start namenode
3. 在[nn2],启动namenode：
   sbin/hadoop-daemon.sh start namenode
4. 在[nn2]，启动NameNode
   sbin/hadoop-daemon.sh start namenode
   (经过以上4步操作，nn1和nn2均处理standby状态)
5. 在[nn1]上，将NameNode切换为Active：
   bin/hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1
6. 最后在[nn1]上，启动所有datanode
   sbin/hadoop-daemons.sh start datanode

yarn安装方式

---

hadoop实战安装

只有activeNameNode可以和其它Server通讯（ssh免密码登录），其它和彼此通讯
1.修改hadoop-env.sh
JAVA_HOME=