走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

HDFS数据不均衡解决方案:基于剩余空间大小的均衡策略

前言相信对于广大的Hadoop集群的使用者和维护者,集群在长时间的使用过程中,肯定或多或少碰到节点间数据不均衡的现象。比如有些节点可能磁盘使用率已经达到90%,而有些节点可能就10%。当然我们说,在使用百分比明细不均衡的情况下,我们可以用HDFS提供的Balancer工具帮我们解决这个问题。但是这...

2017-10-22 11:27:57

阅读数:1244

评论数:1

HDFS Ozone整体概述

前言 HDFS Ozone对象存储最近会有一个大动作:merge到主代码分支。这就动作具有十分大的意义,因为它意味着Ozone将在下一个最近发布的hadoop版本中出现并可以被广大用户所使用。所以在这个背景下,Ozone第一版本的代码和结构基本已经确定完毕,这个时候,我们再从大的层面来学习、...

2017-10-07 10:44:13

阅读数:1084

评论数:0

提示
确定要删除当前文章?
取消 删除