Hadoop之hdfs2.x分布式存储系统学习

解决hdfs1.x中单点故障和内存受限

1、内存受限解决方案（NN元数据内存受限）

1-2：国内

一个集群只能有一个NameNode，则把不同阶段的数据存到不同的集群里，这是国内如京东百度淘宝等的解决方法。如：

京东的订单存一个集群

京东的流水存一个集群

京东的商品信息存一个集群

订单里10年前的一个集群，10年内的一个集群

2-2：官方提供的解决方法：HDFS Federation（联邦） 

2、单点故障解决方案

2-1：HDFS HA：通过主备NameNode解决 一个集群中只能有一个NameNode处于工作状态 当主NameNode发送故障 则切换到备新NameNode上（NameNode的两大功能：接收客户端的读写请求 存储元数据 ）

NN（HA）两种方式NFS和QJM

NFS:为了使备用节点保持其状态与活动节点同步，当前实现要求两个节点都可以访问共享存储设备上的目录（例如，来自NAS的NFS安装）

QJM:为了使备用节点保持其状态与活动节点同步，两个节点都与一组称为“JournalNodes”（JN）的单独守护进程通信。

zookeeper和JournalNode

通过zookeeper切换NN（不适用时可以手动切换，但是不建议），JournalNode管理元数据（支持多副本，避免一台宕机数据丢失，代替1.xSecondaryNode功能）

NNActive:活动的NN节点

NNStandby:备用的NN节点

流程：1：节点启动，加载(全部)NN元数据文件到JN，JN自动copy到其他副本，并且注册节点到zookeeper，DN节点上报位置信息到(全部)NN。

2：zk通过FalloverControllerActive和FalloverControllerStandby选举一台NN为Active

3：当NNActive宕机时，zk会选举新的NNActive