一、HDFS1.x架构图
对于HDFS1.x来讲,它的架构图由三个组件组成:NameNode、SecondaryNameNode和DataNode。
稍微了解过hadoop1.x的同学,就会知道hadoop1.x集群里面的资源管理和作业调度及监控都是有NameNode负责,一个集群,只有一台机器(Master)有NameNode进程,这就出现一个问题,当这个NameNode进程,或者Master机器出现异常,那么整个集群的运作将会受到非常非常大的影响。
二、对于Hadoop1.x的单点问题解决
对于HDFS1.x的单点问题,一般有两种解决方案:
- 将hadoop元数据写入到本地文件系统的同时,再同步到一个远程挂载网络系统NFS(Network Files System);
- 运行一个SecondaryNameNode,通过合并镜像的方式保存NameNode元数据,当NameNode发生故 障时它会通过自己合并的命名空间镜像副本来恢复;
对于方案一,NFS相当于是另外的一个叫系统,如果要使用的话,就需要在hadoop集群上另外再搭建一个系统,这相对来说会麻烦一点,而且依赖性变高;
对于方案二,是hadoop自带提供的解决方案,NameNode中存储的是元数据&#