Hadoop-容错机制

一、HDFS副本机制

文件上传
HDFS默认是三个副本，当前节点一份，同一机架不同节点一份，不同机架任意节点一份，如果某一节点上传失败，那整个块都会上传失败，需重新启动该副本的上传
文件下载
下载失败可能因为副本丢失或者节点坏掉，会优先调用同一机架的另一个节点的数据备份，这样会减少数据开销

二、Yarn容错机制

Map/Reduce Task

AppMaster负责任务的容错：

1、MapReduce在计算过程中，可能会产生多个maptask和reducetask，如果某个maptask失败后，AppMaster会将错误信息通过心跳机制反馈给AppManager,AppManager会重启这个maptask任务，然后通过ResoureSchedule找到另一个副本所在的节点地址，然后将信息反馈给AppMaster,Appmaster会通过当前节点的NodeManager把任务传给目标DataNode，然后DataNode会创建container，并且调用副本信息来启动maptask

AppMaster

ResourceManager对于Appmaster的容错

AppMaster与ResourceManager是通过心跳机制定期保持通信的，当AppMaster损坏时，ResourceManage