尬聊HDFS的运行原理,如何实现HDFS的高可用

最新推荐文章于 2022-11-22 14:25:12 发布

尬聊码农

最新推荐文章于 2022-11-22 14:25:12 发布

阅读量159

点赞数

分类专栏： hadoop离线数仓文章标签： HDFS的运行原理如何实现HDFS的高可用

本文链接：https://blog.csdn.net/weixin_43562705/article/details/89948274

版权

hadoop离线数仓专栏收录该内容

26 篇文章 0 订阅 ¥29.90 ¥99.00

订阅专栏

本文详细介绍了HDFS的运行原理，包括NameNode和DataNode的角色，以及客户端写入和读取数据的流程。此外，还深入探讨了NameNode如何管理元数据，并解释了在NameNode磁盘故障时如何通过辅助NameNode进行挽救。最后，文章讨论了如何实现HDFS的高可用性，包括手动和自动容灾策略，强调了Zookeeper在自动容灾中的作用。

摘要由CSDN通过智能技术生成

HDFS的运行原理,如何实现HDFS的高可用

一.HDFS的运行机制

HDFS集群中的节点分为两种角色，一种角色负责管理整个集群的元数据，是名称节点（name node）；另一种角色负责存储文件数据块和管理文件数据块，是数据节点(datanode)。

1.1 NameNode

  	1.1.1名称节点负责响应客户端的请求，负责管理整个文件系统的元数据。

  	 1.1.2HDFS的内部工作机制对客户端是透明的，客户端对HDFS的读、写操作都必须先向name node申请。所以元数据是关键。

  	 1.1.3负责维持文件的副本数量

  	 1.1.4 为了保证集群的元数据不丢失，生产环境下需要配置辅助名称节点(secondary name node,简称2NN),目的是帮助  NameNode 合并编辑日志，减少  NameNode 启动时间，万一name node的元数据丢失就可以从2NN恢复元数据。

  	 1.1.5 名称节点可用的前提是此节点运行名为“NameNode”的进程。