hadoop高可用集群个人搭建整理

一、安装前的配置要求

hadoop高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。

二、开始安装

我这边是用了三台虚拟机，主机名分别是hadoop01，hadoop02，hadoop03。我是设置hadoop01是主机，hadoop02是副主机。
更改hadoop下的文件配置。
打开文件：vi core-site.xml

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>//注：这里是集群名字，随意设置
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop/tmp</value>//注：这里修改为自己的文件夹路径
   </property>
   <property>
     <name>ha.zookeeper.quorum</name>
     <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>//注：这里修改成自己设置的主机名
   </property>
   <property>
     <name>hadoop.proxyuser.root.hosts</name>
     <value>*</value>
   </property>
   <property>
     <name>hadoop.proxyuser.root.groups</name>
     <value>*</value>
   </property>
</configuration>

打开文件：vi hdfs-site.xml

<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>//注：对应之前设置的集群名字
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>//注：这里设置两个NameNode名字。
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>hadoop01:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>hadoop02:9000</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>hadoop01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>hadoop02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/hadoop/data/jn</value>//注：这里是开启journalnode，之后的数据存储位置。
</property>
<property>
  <name>dfs.permissions.enable</name>
  <value>false</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop03:50090</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
</configuration>

打开文件：vi mapred-site.xml

<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

打开文件：vi yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>cluster-yarn1</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>hadoop01</value> </property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>hadoop02</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

配置完成之后，在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务： hadoop-daemon.sh start journalnode
在主机上，对其进行格式化，并启动，格式化只在第一次启动时需要以后不需要： hdfs namenode -format ， hadoop-daemon.sh start namenode
在副主机上，同步 主机的元数据信息，只在第一次启动时需要,以后不需要： hdfs namenode -bootstrapStandby
启动副主机： hadoop-daemon.sh start namenode
查看 web 页面显示,如下:


关闭所有 HDFS 服务： stop-dfs.sh
启动 Zookeeper 集群,即在所有机器输入如下命令： zkServer.sh start
初始化 HA 在 Zookeeper 中状态： hdfs zkfc -formatZK
启动 HDFS 服务： start-dfs.sh
在各个 NameNode 节点上启动 DFSZK Failover Controller,先在哪台机器启动,哪个机器的NameNode就是Active NameNode :
hadoop-daemon.sh start zkfc，启动后如下: