走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

HDFS“慢节点”监控分析功能

前言 当集群规模在日益变大的时候,往往有的时候出现机器的老化,而这些“老化”的机器又会表现出一些奇怪的特征:“磁盘读写慢”、“网络数据传输慢”等。对于前者,曾经笔者写过一篇 Hadoop节点”慢磁盘”监控 的解决方案,当然社区目前已有更好的方案: HDFS-10959 ( Adding pe...

2017-01-31 17:16:32

阅读数:3702

评论数:4

HDFS Maintenance State

前言初一看文章标题,很多人可能比较奇怪“HDFS Maintenance”是什么意思,“HDFS包含”的意思?首先Maintenance这个形似Maintain的单词可不是什么包含的意思,它的解释是维护,维修。那么HDFS Maintenance具体是什么意思呢,HDFS处于维护状态?说起维护状态...

2017-01-25 22:43:25

阅读数:1093

评论数:0

继续聊聊HDFS BlockManager扩展性问题

前言最近一段时间,笔者在业余时间继续对HDFS的扩展性内容进行学习。一句话来概括,越往里深入,越发现里面可以讲的东西越多,涉及到的点也越多。社区在这个方面确实做了很多的讨论。本文所讲述的主题源自于社区JIRA HDFS-7844(Create an off-heap hash table impl...

2017-01-24 21:36:11

阅读数:949

评论数:0

HDFS小文件问题解决方案与启发实践

前言 继上文聊聊HDFS BlockManager的服务化改造之后,本文我们继续来讨论HDFS扩展性相关的问题。在本文的阐述过程中,我们将通过一个平时遇到的典型问题-HDFS小文件过多问题作为贯穿全文的一个核心要点。在下文中,笔者将会介绍小文件的缘由,现有解决办法,新的解决方案等等内容。

2017-01-08 14:25:07

阅读数:6681

评论数:1

聊聊HDFS BlockManager的服务化改造

前言在现有的HDFS中,NameNode扮演着一个十分重要的角色。它不仅需要处理集群中所有文件相关的操作(此处可理解为INode相关的操作),它还要处理更小粒度级别的操作,也就是block块级别的操作。随着HDFS的快速迭代发展,它所需要执行的操作也越来越重了。另一方面,一旦集群的数据量规模大幅度...

2017-01-03 12:24:31

阅读数:1217

评论数:0

提示
确定要删除当前文章?
取消 删除