- 博客(3)
- 收藏
- 关注
RSS订阅
原创 分布式存储系统（GlusterFS，Swift，Cassandra）设计对比
几年下来，前前后后接触过几个存储系统了，感觉接触多了，发现不同系统在设计的时候大都采用相似的理论，因此就梳理下。 GlusterFS Swift Cassandra 路由算法 普通哈希算法 一致性哈希算法 一致性哈希算法 数据恢复方式 选举算法，选出一个源节点
2013-10-17 13:13:10
7238
3
原创 HDFS块分配策略
HDFS块分配策略 块分配策略流程图 注：上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。 一个客户端a机器发起请求分配块请求，NN接收到请求后，执行如下块分配流程： 1） 如果a不是一个DataNode，则在集群范围内随机选择一个节点作为目标节点，否则执行下面的2,3步骤； 2） 判断a机器是否符合存储数据块的目标节点，如果符合，第一个块副本分
2013-10-22 16:09:30
3808
原创 hadoop之HDFS:数据块恢复与文件上传测试
1.数据块恢复 当某台机器上的一个DataNode进程down掉，HDFS为了保证文件的副本满足设定的副本数，会进行数据块的恢复操作。块恢复操作主要受两个参数影响： a）dfs.namenode.replication.work.multiplier.per.iteration NameNode计算集群每个周期每个DataNode平均恢复的数据块数量；如果该参数配置得太小，则dfs.name
2013-10-21 17:53:28
3510
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人