leedsjung的博客

HDFS架构：1Master（NameNode、NN），带N个Slaves（DataNode，DN）心跳机制：DN定期发送心跳包，给NN，报告自身及block信息。NN汇总Blockreport，维护Metadata（元数据信息）包括filename、number of Relicas、block ids等等文件分块（block）默认blocksize=128M副本机制基于block的复制默认副本...

Hadoop1.x中MapReduce存在的问题：基于MapReduce：Master/Slave架构，1个JobTracker带多个TaskTracker存在JobTracker单点问题。不能支持除了MapReduce作业之外的其他作业（比如Spark作业）XXX on YARN：底层共享同一个HDFS集群上的数据YARN作为接口层（统一接口抽象、不同实现）各种作业可以运行在YARN之上：Map...

原文地址：https://blog.csdn.net/everl_1/article/details/52303011基于zookeeper实现 HDFS之namenode HA使用journalnode进程，实现active/standby两个namenode进程元数据同步使用zkfc作为namenode进程的伴随监控进程，用于监控active的状态，并在宕机的时候，切换到standbyfenc...