- 博客(5)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 hadoop分析之四：关于hadoop namenode的双机热备份方案
参考Hadoop_HDFS系统双机热备方案.pdf，试验后有所增减关于hadoopnamenode的双机热备份方案1、 前言目前hadoop-0.20.2没有提供name node的备份，只是提供了一个secondary node，尽管它在一定程度上能够保证对name node的备份，但当name node所在的机器出现故障时，secondary node不能提供实时
2012-07-26 17:40:55
15495
4
原创 hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色
以hadoop0.21为例。NameNode.java: 主要维护文件系统的名字空间和文件的元数据，以下是代码中的说明。/********************************************************** * NameNode serves as both directory namespace manager and * "inode table"
2012-07-21 22:52:28
7490
1
原创 hadoop分析之二元数据备份方案的机制
1、NameNode启动加载元数据情景分析NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。saveNameSpace将
2012-07-21 16:12:32
4701
2
原创 关于Hbase的集群管理
1、如果只增加集群的存储量，建议增加hadoop datanode节点。方法：停掉集群包括hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。执行bin/start-all.sh启动集群如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。如果手动平衡
2012-07-20 23:36:35
3183
4
原创 hadoop分析之一HDFS元数据解析
1、元数据（Metadata）：维护HDFS文件系统中文件和目录的信息，分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时，没有采用定期导出元数据的方法，而是采用元数据镜像文件（FSImage）+日子文件（edits）的备份机制。2、Block：文件内容而言。寻路径流程： 路径信息 b
2012-07-20 23:33:44
23020
3
Silverlight3 HitTest 的2个比较好的例子
2010-04-15
CLR via C# (pdf)
2009-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人