cdh hadoop2集群安装

cdh hadoop2集群安装

tar安装

hadoop2软硬件准备

  1. 准备硬件(linux)
  2. 准备软件安装包,并安装基础软件(主要jdk)
  3. 将hadoop安装包分发到各个节点的同一个目录下,并解压
  4. 修改配置文件
  5. 启动服务
  6. 验证是否启动成功

http://archive.cloudera.com/cdh5/cdh/5/

hdfs安装方式

启动Namenode

  1. 在各个JournalNode节点上,输入以下命令启动journalnode
    sbin/hadoop-daemon.sh start journalnode
  2. 在[nn1]上对其进行格式化,并启动:
    bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode

  3. 在[nn2]上,同步nn1的元数据信息:
    bin/hdfs namenode -bootstrapStandby

  4. 在[nn2],启动NameNode
    sbin/hadoop-daemon.sh start namenode
    (经过以上4步操作,nn1和nn2均处理standy状态)
  5. 在[nn1]上,将NameNode切换为Active
    bin/hdfs haadmin -transitionToActive nn1
  6. 在[nn1]上,启动所有datanode
    sbin/hadoop-daemons.sh start datanode

关闭hadoop集群:在[nn1]上,输入以下命令sbin/stop-dfs.sh

验证是否启动成功
IP:50070

hadoop faderation

在nn1和nn2两个节点上进行如下操作

  1. 在journalNode节点上,输入以下命令启动:
    sbin/hadoop-daemon.sh start journalnode
  2. 在[nn1]上,对其进行格式化,并启动:
    bin/hdfs namenode -format -clusterId hadoop-cluster
    sbin/hadoop-daemon.sh start namenode
  3. 在[nn2],启动namenode:
    sbin/hadoop-daemon.sh start namenode
  4. 在[nn2],启动NameNode
    sbin/hadoop-daemon.sh start namenode
    (经过以上4步操作,nn1和nn2均处理standby状态)
  5. 在[nn1]上,将NameNode切换为Active:
    bin/hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1
  6. 最后在[nn1]上,启动所有datanode
    sbin/hadoop-daemons.sh start datanode

yarn安装方式


hadoop实战安装

只有activeNameNode可以和其它Server通讯(ssh免密码登录),其它和彼此通讯
1.修改hadoop-env.sh
JAVA_HOME=

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值