hadoop源码分析系列
对hadoop源码进行分析,特别是hadoop的namenode的备份方案。hadoop HA机制分析。
kntao
互联网行业广告含义,分布式数据存储,大数据计算。
展开
-
hadoop分析之四:关于hadoop namenode的双机热备份方案
参考Hadoop_HDFS系统双机热备方案.pdf,试验后有所增减关于hadoopnamenode的双机热备份方案1、 前言目前hadoop-0.20.2没有提供name node的备份,只是提供了一个secondary node,尽管它在一定程度上能够保证对name node的备份,但当name node所在的机器出现故障时,secondary node不能提供实时原创 2012-07-26 17:40:55 · 15612 阅读 · 4 评论 -
hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色
以hadoop0.21为例。NameNode.java: 主要维护文件系统的名字空间和文件的元数据,以下是代码中的说明。/********************************************************** * NameNode serves as both directory namespace manager and * "inode table"原创 2012-07-21 22:52:28 · 7529 阅读 · 1 评论 -
hadoop分析之二元数据备份方案的机制
1、NameNode启动加载元数据情景分析NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。saveNameSpace将原创 2012-07-21 16:12:32 · 4741 阅读 · 2 评论 -
hadoop分析之一HDFS元数据解析
1、元数据(Metadata):维护HDFS文件系统中文件和目录的信息,分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制。2、Block:文件内容而言。寻路径流程: 路径信息 b原创 2012-07-20 23:33:44 · 23116 阅读 · 3 评论