hadoop集群HA模式搭建

一、hadoop伪分布式环境搭建

二、hadoop集群HA模式搭建

三、hadoop集群HA模式(JN+ZK)+yarn搭建

角色分配

角色\服务器	node01	node02	node03	node04
namenode	√
secondarynamenode		√
datanode		√	√	√

一、环境准备

1. 准备4台服务器，node01\node02\node03\node04
2. node01能免密登录其他3台服务器

二、应用搭建

1. 修改hadoop的配置文件

   core-site.xml配置修改，地址参见

   <property>
     <name>dfs.nameservices</name>
     <value>mycluster</value>
   </property>
   

   hdfs-site.xml配置修改

   <!-- 配置角色 -->
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/var/bigdata/hadoop/full/dfs/name</value>
   </property>
   
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/var/bigdata/hadoop/full/dfs/data</value>
   </property>
   <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>node02:50090</value>
   </property>
   <property>
       <name>dfs.namenode.checkpoint.dir</name>
       <value>/var/bigdata/hadoop/full/dfs/secondary</value>
   </property>
   

   slaves文件修改（datanode节点）

   node02
   node03
   node04
   

三、启动

2. 在node01做格式化：hdfs namenode -format
3. 启动这个NN：start-dfs.sh

四、使用验证

http://node01:50070