- 博客(3)
- 收藏
- 关注
RSS订阅原创 大型互联网公司的文件系统演进
大型互联网公司在发展过程中，文件系统都经历了从集中式存储到分布式存储的演进过程。1.集中式存储早期数据量和访问量较小，可以采用emc等公司的NAS存储，但随着访问量增加，网络的瓶颈，扩容的压力和成本，运维的成本都将很高，这些缺点导致集中式存储已经无法支撑业务的需要。2.分布式存储可以通过分布式的方案，灵活的扩充，通过廉价的PC，就可以灵活增加存储，并且因为分布式的特点，硬件扩充的过...
2012-03-09 11:01:01
154
原创 hbase的meta region挂掉之后的问题跟踪
近日对hbase进行稳定性测试，因为主机资源有限，所以使用多个虚拟机搭了一个分布式hbase集群，无意中停了一个虚拟机，然后启动hbase发现整个集群无法启动，hmaster报了一个网络异常之后，就直接退出了。于是开始跟踪hmaster启动部分的源码。hmaster的大郅步骤：1.连接zk，创建master node的watcher2.检查root region是否存在3.启动...
2011-06-03 10:56:26
300
原创 hadoop fsck解释
hadoop fsck /Minimally replicated blocks: 51224 (100.0 %)block的replication数目大于等于 "dfs.namenode.replication.min"的block数量Over-replicated blocks: 0 (0.0 %)//block的replication数目大于 dfs.r...
2011-06-03 09:14:07
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人