尬聊HDFS的运行原理,如何实现HDFS的高可用

HDFS的运行原理,如何实现HDFS的高可用

一.HDFS的运行机制

HDFS集群中的节点分为两种角色，一种角色负责管理整个集群的元数据，是名称节点（name node）；另一种角色负责存储文件数据块和管理文件数据块，是数据节点(datanode)。

1.1 NameNode

  	1.1.1名称节点负责响应客户端的请求，负责管理整个文件系统的元数据。

  	 1.1.2HDFS的内部工作机制对客户端是透明的，客户端对HDFS的读、写操作都必须先向name node申请。所以元数据是关键。

  	 1.1.3负责维持文件的副本数量

  	 1.1.4 为了保证集群的元数据不丢失，生产环境下需要配置辅助名称节点(secondary name node,简称2NN),目的是帮助  NameNode 合并编辑日志，减少  NameNode 启动时间，万一name node的元数据丢失就可以从2NN恢复元数据。

  	 1.1.5 名称节点可用的前提是此节点运行名为“NameNode”的进程。

1.2 数据节点Data Node

​ 1.2.1 负责存放被切割后的文件块。文件在data node的存储单位是块(block)。

​ 1.2.2 如果hadoop集群是完全分布式模式，那么一个文件的每一个块必须有多个副本，存放在不同的datanode上。当客户端把某个文件写入HDFS时，首先按照固定的块大小（block size）把该文件切成若干个块，再分布式地存储在若干台data nod