分布式
IronWring_Fly
这个作者很懒,什么都没留下…
展开
-
一致性算法Paxos
文字版的看累了,不如看看这个b站视频版的教程,我感觉讲的挺好的。https://www.bilibili.com/video/av21667358?from=search&seid=15216206476414089463 paxos算法的原理还是比较复杂的,几乎所有的原理讲解都会用在议会上提交议案这样的例子来讲解,我认为,配合例子和上面那个视频,理解paxos算法还是不难的。 ...原创 2019-09-05 17:59:18 · 152 阅读 · 0 评论 -
HDFS的HA
HA(high availability)是集群单点故障的解决方案。HDFS的HA一般配合zookeeper实现。HA中有多个NameNode,一个处于active状态,其他均处于standby状态。多个namenode通过文件共享,一起维护edit日志文件,active节点负责写,standby节点只读,通过这种方式保证集群节点状态的一致性。HDFS默认使用QJM(基于Paxos)。...原创 2019-09-18 12:07:00 · 150 阅读 · 0 评论 -
yarn
原创 2019-09-18 20:02:40 · 112 阅读 · 0 评论 -
hadoop 的 mapreduce(1)
参考资料:Difference between hadoop block Size and Input Splits in hadoop and why two parameter are there ?A Very Brief Introduction to MapReduce对于文件分片的过程,参考文献第一篇有专门论述这个问题。if input split is not...原创 2019-09-20 12:01:10 · 153 阅读 · 0 评论