- 博客(2)
- 收藏
- 关注
原创 HDFS数据不均衡解决方案:基于剩余空间大小的均衡策略
前言相信对于广大的Hadoop集群的使用者和维护者,集群在长时间的使用过程中,肯定或多或少碰到节点间数据不均衡的现象。比如有些节点可能磁盘使用率已经达到90%,而有些节点可能就10%。当然我们说,在使用百分比明细不均衡的情况下,我们可以用HDFS提供的Balancer工具帮我们解决这个问题。但是这不能解决所有的情况,比如说存在异构节点的集群。举一个简单的例子,集群内2个节点:A节点磁盘容量100T,
2017-10-22 11:27:57 4187 1
原创 HDFS Ozone整体概述
前言 HDFS Ozone对象存储最近会有一个大动作:merge到主代码分支。这就动作具有十分大的意义,因为它意味着Ozone将在下一个最近发布的hadoop版本中出现并可以被广大用户所使用。所以在这个背景下,Ozone第一版本的代码和结构基本已经确定完毕,这个时候,我们再从大的层面来学习、了解这个框架、体系显然还是很有必要的。官方社区已经有许多相应的介绍文档在介绍这方面的内容了。笔者也大致
2017-10-07 10:44:13 4928
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人