Hadoop
-
map&reduce
https://blog.csdn.net/a2011480169/article/details/52924955 -
HDFS
NFS对比:NFS是在远端单一服务器上放置数据,然后在本地mount一块内存来和远端同步共享数据
HDFS:真正分布式存储,拥有Namenode & Datanode,基本读写单位为block -
选举master:
https://www.cnblogs.com/jichui/p/10444812.html
第一种:谁先创建master临时节点,谁就是master,当一个master挂掉了,master节点就消失了,别的节点就会监听到,就会继续去创建master临时节点,以此类推,利用Zookeeper的两个特点(一个节点只能成功创建一次、利用监听的机制)
第二种:在master下面创建临时有序节点,那个节点最小,那个就是master,节点挂掉,下面那个临时节点就会监听到上面的临时节点挂掉了,从而取代成为master,以此类推,(利用Zookeeper创建节点临时有序的特性)