HDFS高可用集群的搭建

灰太狼！！

已于 2024-04-11 15:05:24 修改

阅读量949

点赞数 30

分类专栏： Hadoop 文章标签： hdfs hadoop 大数据

于 2024-04-02 08:30:00 首次发布

本文链接：https://blog.csdn.net/weixin_52134189/article/details/137244021

版权

Hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一、非高可用集群带来的问题

1、单点故障

a. 每个群集同一时刻只能有一个活跃的NameNodeNameNode存在单点故障（SPOF）

b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用

c. 如果发生意外事件（例如机器崩溃），则在操作员重新启动NameNode之前，群集将不可用。

d. 计划内的维护事件，例如NameNode计算机上的软件或硬件升级，将导致群集停机时间的延长

2、水平扩展将来服务器启动的时候，启动速度慢

3、namenode随着业务的增多，内存占用也会越来越多，如果namenode内存占满，将无法继续提供服务

4、日志丢失问题

二、高可用架构流程图

1.流程思路：

1.1、hadoop2.x启用了主备节点切换的模式（1主1备）

1.2 、当主节点出现异常的时候，集群直接将备用节点切换成主节点,而且要满足：

(1)要求备用节点马上就要工作

(2)主备节点内存几乎同步相同

1.3 、独立的线程对主备节点进行监控健康状态

1. 4 、需要有一定的选举机制，帮助我们确定主从关系

1.5 、我们需要实时存储日志的中间件

2.节点作用：

2.1ActiveNameNode(ANN)

a. 它的功能和原理的 NN 的功能是一样的

b. 接受客户端请求，查询数据块 DN 信息

c. 存储数据的元数据信息

数据文件： Block ： DN 的映射关系

d. 工作：

启动时：接受DN 的 block 汇报运行时：和 DN 保持心跳 (3s,10m)

e. 存储介质

完全基于内存

优点：数据处理效率高

缺点：数据的持久化 ( 日志 edits+ 快照 fsimage)

2.2StandbyNameNode(SNN)

a. Standby NameNode ： NN 的备用节点

b. 他和主节点做同样的工作，但是它不会发出任何指令 ( 同一时刻，集群只能有一个活跃的节点)

c. 存储：数据的元数据信息

数据文件： Block ： DN 的映射关系

它的内存数据和主节点内存数据几乎是一致的

d. 工作：

启动时：接受DN 的 block 汇报

运行时：和 DN 保持心跳 (3s,10m ）

e. 存储介质：完全基于内存

优点：数据处理效率高

缺点：数据的持久化

2.3DataNode(DN)

a. 存储文件的 Block 数据

b. 介质：硬盘

c. 启动时：同时向两个 NN 汇报 Block 信息

d. 运行中：同时和两个主节点保持心跳机制

三、高可用集群的搭建

前提：高可用集群需要zookeeper的选举结果来支持（在hadoop专栏中有zookeeper的搭建过程）

1.vim core-site.xml

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://cluster</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/soft/hadoop-3.1.1/tmp</value>
   </property>
   <property>
       <name>fs.trash.interval</name>
       <value>1440</value>
   </property>
   <property>
   <name>ha.zookeeper.quorum</name>
   <value>master:2181,node1:2181,node2:2181</value>
   </property>
</configuration>

2.vim hdfs-site.xml

<configuration>


<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-3.1.1/data/namenode</value>
</property>


<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-3.1.1/data/datanode</value>
</property>


<property>
<name>dfs.replication</name>
<value>1</value>
</property>


<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>


<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>



<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>


<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>


<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>


<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:9870</value>
</property>


<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>


<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-3.1.1/data/journal</value>
</property>


<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>


<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>


<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>


<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

</configuration>