- 博客(5)
- 资源 (16)
- 收藏
- 关注
原创 hadoop分析之四:关于hadoop namenode的双机热备份方案
参考Hadoop_HDFS系统双机热备方案.pdf,试验后有所增减关于hadoopnamenode的双机热备份方案1、 前言目前hadoop-0.20.2没有提供name node的备份,只是提供了一个secondary node,尽管它在一定程度上能够保证对name node的备份,但当name node所在的机器出现故障时,secondary node不能提供实时
2012-07-26 17:40:55 15624 4
原创 hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色
以hadoop0.21为例。NameNode.java: 主要维护文件系统的名字空间和文件的元数据,以下是代码中的说明。/********************************************************** * NameNode serves as both directory namespace manager and * "inode table"
2012-07-21 22:52:28 7532 1
原创 hadoop分析之二元数据备份方案的机制
1、NameNode启动加载元数据情景分析NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。saveNameSpace将
2012-07-21 16:12:32 4744 2
原创 关于Hbase的集群管理
1、如果只增加集群的存储量,建议增加hadoop datanode节点。方法:停掉集群包括hadoop和hbase,当然也可以不停掉,直接在hadoop namenode的配置文件Slave里添加新节点的host,别忘了在host文件里也要添加新添加的host名。执行bin/start-all.sh启动集群如果不手动作平衡,插入的数据将会放在新添加的节点上。以趋于平衡。如果手动平衡
2012-07-20 23:36:35 3193 4
原创 hadoop分析之一HDFS元数据解析
1、元数据(Metadata):维护HDFS文件系统中文件和目录的信息,分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制。2、Block:文件内容而言。寻路径流程: 路径信息 b
2012-07-20 23:33:44 23125 3
Silverlight3 HitTest 的2个比较好的例子
2010-04-15
CLR via C# (pdf)
2009-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人