大数据
HDFS存在的问题
•NameNode单点故障,难以应用于在线场景 HA
•NameNode压力过大,且内存受限,影扩展性 F
解决单点故障
•HDFS HA:通过主备NameNode解决
•如果主NameNode发生故障,则切换到备NameNode上
MapReduce存在的问题响系统
•JobTracker访问压力大,影响系统扩展性
•难以支持除MapReduce之外的计算框架,比如Spark、Storm等
解决内存受限问题
•HDFS Federation(联邦)
•水平扩展,支持多个NameNode;
•(2)每个NameNode分管一部分目录;
•(1)所有NameNode共享所有DataNode存储资源
HA模式
当分配主从NN时,2个NN和2个zkfc同时去zk集群中争抢一个锁,由两个zkfc同时去
zk特征: 目录树的数据结构 事件 session
考虑2种情况
主NN故障,由主zkfc删掉zk中的节点,此时再由zkfc回调当时zk节点中的注册方法,将从NN升级