Hadoop高可用集群的搭建

Hadoop高可用集群的搭建

---

1.Hadoop Ha集群的搭建原理

在hadoop的完全分布式使用过程，如果namenode出现故障，处于宕机状态，那么整个集群都将瘫痪，直到namenode重新启动，而随着大数据数据的膨胀，一个namenode节点承担的压力越来越大，宕机可能性的越来越来大。
Hadoop的Ha的实现原理是通过配置多个节点的namenode， 在任何时间点，确 保 NameNodes 中只有一 个处 于 Active 状态， 其他的处 在 Standby 状态 。其中ActiveNameNode 负责集群中的所有客户端操作， StandbyNameNode 仅仅充当备机， 保证一旦 ActiveNameNode 出现问题能够快速切换。
为了确保namenode能够在第一时候能够从standby状态能够快速从转化为active状态，必须在确保所有的namenode使用同一个元数据存储系统可以是 NFS、QJM（Quorum Journal Manager）或者 Zookeeper，Active Namenode 将数据写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则读取这些数据， 并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致，如此在紧急情况下，Standby就能迅速从切换成active状态，同时集群中的datanode也会同时向所有namenode节点发送心跳信息和文件信息。

1.1 图中可以看到，元数据由第三方Quorum Journal Manager保管，在进程中可以jps进行查看，进程名是journalnode
1.2 而下方的datanode同时向Standby和Active的发送实时心跳保证两个节点随时可以获得HDFS中的文件信息
1.3通过ZKFC，Standby namenode对Active的健康状态进行实时监控，在ZKFC发现Active发生状况之后 ，Standby迅速切换成Active状态，同时为了避免发生脑裂现象（因为网络原因等情况出现，ZKFC出现误判，而出现两个Active Namenode的情况），Standby对Active发送一个杀死namenode进程的命令

---

2.Ha的集群规划

HDFS:namenode – 2个 datanode-3个 journalnode-3台 zkfc:2个
YARN:resourcemanager-2个 nodemanager–3个
Zookeeper：3个 QuorumPeerMain
最终规划：
hadoop01：namenode datanode journalnode zkfc nodemanager QuorumPeerMain
hadoop02:namenode datanode journalnode zkfc nodemanager resourcemanager QuorumPeerMain
hadoop03:datanode journalnode nodemanager resourcemanager QuorumPeerMain

3.Ha的安装

1.1 安装前的准备

保证jdk ssh 主机名 映射 防火墙 sellinux 时间同步等

1.2 上传解压到安装目录

上传安装包，这里我们用的是hadoop-2.7.6.tar.gz版本，解压到安装目录，这里我们使用的是/home/hadoop/apps/

1.3 配置环境变量

cd ~/apps/hadoop-2.7.6/etc/hadoop/
vi /etc/profile

测试是否配置成功

1.4修改hadoop-env.sh

export JAVA_HOME= /usr/local/jdk1.8.0_73

1.5修改core-site.xml

<configuration> 
<!-- 指定 hdfs 的 nameservice 为 myha01 --> 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://myha01/</value> 
</property> 

<!-- 指定 hadoop 工作目录 --> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hadoop/data/hadoopdata/</value> 
</property> 

<!-- 指定 zookeeper 集群访问地址 --> 
<property> 
<name>ha.zookeeper.quorum</name> 
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> 
</property> 
</configuration>

1.6修改 hdfs-site.xml

<configuration> 
<!-- 指定副本数 --> 
<property> 
    <name>dfs.replication</name> 
    <value>2</value> 
</property> 

<!--指定 hdfs 的 nameservice 为 myha01，需要和 core-site.xml 中保持一致--> 
<property> 
    <name>dfs.nameservices</name> 
    <value>myha01</value> 
</property> 


<!-- myha01 下面有两个 NameNode，分别是 nn1，nn2(namenode的映射) --> 
<property> 
    <name>dfs.ha.namenodes.myha01</name> 
    <value>nn1,nn2</value> 
</property> 


<!-- nn1 的 RPC 通信地址 --> 
<property> 
    <name>dfs.namenode.rpc-address.myha01.nn1</name> 
    <value>hadoop01:9000</value> 
</property> 

<!-- nn1 的 http 通信地址 --> 
<property> 
    <name>dfs.namenode.http-address.myha01.nn1</name> 
    <value>hadoop01:50070</value> 
</property> 

<!-- nn2 的 RPC 通信地址 --> 
<property> 
    <name>dfs.namenode.rpc-address.myha01.nn2</name> 
    <value>hadoop02:9000</value> 
</property> 

<!-- nn2 的 http 通信地址 --> 
<property> 
    <name>dfs.namenode.http-address.myha01.nn2</name> 
    <value>hadoop02:50070</value> 
</property> 


<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 qjournal：协议--> 
<property> 
    <name>dfs.namenode.shared.edits.dir</name> 
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myha01</value> 
</property> 

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 --> 
<property> 
    <name>dfs.journalnode.edits.dir</name> 
    <value>/home/hadoop/data/hadoopdata/journaldata</value> 
</property> 

<!-- 开启 NameNode 失败自动切换 --> 
<property> 
    <name>dfs.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property> 

<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行--> 
<property> 
    <name>dfs.client.failover.proxy.provider.myha01</name> 
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property> 

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--> 
<property> 
    <name>dfs.ha.fencing.methods</name> 
    <value> 
    sshfence 
    shell(/bin/true) 
    </value> 
</property> 

<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 --> 
<property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name> 
    <value>/home/hadoop/.ssh/id_rsa</value> 
</property> 

<!-- 配置 sshfence 隔离机制超时时间 毫秒 --> 
<property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name> 
    <value>30000</value> 
</property> 
</configuration> 

1.7修改 mapred-site.xml

##复制一份mapred-site.xml.template为 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<configuration> 

<!-- 指定 mr 框架为 yarn 方式 --> 
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property> 

 <!-- 设置 mapreduce 的历史服务器地址和端口号 --> 
 <property>   
  <name>mapreduce.jobhistory.address</name>   
  <value>hadoop02:10020</value> 
 </property>   

 <!-- mapreduce 历史服务器的 web 访问地址 --> 
 <property>   
  <name>mapreduce.jobhistory.webapp.address</name>   
  <value>hadoop02:19888</value>   
 </property> 

</configuration>

1.8修改 yarn-site.xml

<configuration> 
<!-- 开启 RM 高可用 --> 
<property> 
    <name>yarn.resourcemanager.ha.enabled</name> 
    <value>true</value> 
</property> 

<!-- 指定 RM 的 cluster id --> 
<property> 
    <name>yarn.resourcemanager.cluster-id</name> 
    <value>yrc</value> 
</property> 

<!-- 指定 RM 的名字 --> 
<property> 
    <name>yarn.resourcemanager.ha.rm-ids</name> 
    <value>rm1,rm2</value> 
</property> 

<!-- 分别指定 RM 的地址 --> 
<property> 
    <name>yarn.resourcemanager.hostname.rm1</name> 
    <value>hadoop02</value> 
</property> 

<property> 
    <name>yarn.resourcemanager.hostname.rm2</name> 
    <value>hadoop03</value> 
</property> 

<!-- 指定 zk 集群地址 --> 
<property> 
    <name>yarn.resourcemanager.zk-address</name> 
    <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> 
</property> 

<!-- 要运行 MapReduce 程序必须配置的附属服务 --> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

<!-- 开启 YARN 集群的日志聚合功能 --> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 

<!--  YARN 集群的聚合日志最长保留时长 --> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>86400</value> 
</property> 

<!-- 启用自动恢复 --> 
<property> 
    <name>yarn.resourcemanager.recovery.enabled</name> 
    <value>true</value> 
</property> 

<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上--> 
<property> 
    <name>yarn.resourcemanager.store.class</name> 
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
</property>

</configuration> 

1.8发送到集群其他节点

scp -r /home/hadoop/apps/hadoop-2.7.6 hadoop03:$PWD

4.集群初始化操作

4.1先启动 zookeeper 集群

zkServer.sh start
检查启动是否正常：zkServer.sh status

4.2分别在每个 zookeeper （也就是规划的三个 journalnode 节点， 不一定跟 zookeeper节点一样）节点上启动 journalnode 进程 然后用 jps 命令查看是否各个 datanode 节点上都启动了 journalnode 进程 如果报错，根据错误提示改进

hadoop-daemon.sh start journalnode

4.3 在第一个 namenode 上执行格式化操作

hadoop namenode -format

4.4复制上面格式化的fsimage文件复制到另外一个namenode节点上

scp -r dfs hadoop02:/home/hadoop/data/hadoopdata/

4.5zkfc的初始化 在任意一个namenode节点

hdfs zkfc -formatZK

4.6启动：
先启动hdfs start-dfs.sh 在任意节点

hdfs start-dfs.sh
启动yarn
start-yarn.sh

另外一个主节点的rm不会启动 需要手动启动

yarn-daemon.sh start resourcemanager