mapreduce集群的搭建及安装

mapreduce集群的搭建及安装

• 节点分配

  NameNode
      node01
          主
      node02
          从
  DataNode
      node02
      node03
      node04
  zookeeper
      node02
      node03
      node04
  zkfc
      node01
      node02
  journalnode
      node01
      node02
      node03
  resourcemanager
      node03
      node04
  nodemanager
      node02
      node03
      node04
  

• 环境检测

  安装jdk
      配置环境变量
  配置免秘钥
      如果本身没有.ssh文件需要先生成
          ssh localhost
      如果要和其他节点免秘钥需要将自己的公钥发给他，并追加公钥
          ssh-keygen -t dsa -P '' -f ./id_dsa
          scp -r ./id_dsa.pub root@node0*:`pwd`/node0*.pub
          cat node0*.pub >> aut……
  

• 安装hadoop

  解压hadoop到指定目录下
  配置配置文件
      配置三个env.sh，将其中的JAVA_HOME写死
  
      修改hdfs-site.xml
  
          命名集群名
              <name>dfs.nameservices</name>
                <value>mycluster</value>
          命名集群下的两个NN的名称
              <name>dfs.ha.namenodes.myc