- 博客(5)
- 收藏
- 关注
RSS订阅原创 HDFS“慢节点”监控分析功能
前言当集群规模在日益变大的时候，往往有的时候出现机器的老化，而这些“老化”的机器又会表现出一些奇怪的特征：“磁盘读写慢”、“网络数据传输慢”等。对于前者，曾经笔者写过一篇 Hadoop节点”慢磁盘”监控 的解决方案，当然社区目前已有更好的方案： HDFS-10959 （ Adding per disk IO statistics and metrics in DataNode ）。而对于后
2017-01-31 17:16:32
6492
6
原创 HDFS Maintenance State
前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什么意思呢，HDFS处于维护状态？说起维护状态，我们不禁可以联想到HDFS RollingUpgrad，没错，RollingUpgrade确实与HDF
2017-01-25 22:43:25
2403
原创 继续聊聊HDFS BlockManager扩展性问题
前言最近一段时间，笔者在业余时间继续对HDFS的扩展性内容进行学习。一句话来概括，越往里深入，越发现里面可以讲的东西越多，涉及到的点也越多。社区在这个方面确实做了很多的讨论。本文所讲述的主题源自于社区JIRA HDFS-7844(Create an off-heap hash table implementation)，大意是利用堆外内存（off-heap）来进行元数据的存储。之前我们总是提到的Na
2017-01-24 21:36:11
1647
原创 HDFS小文件问题解决方案与启发实践
前言继上文聊聊HDFS BlockManager的服务化改造之后，本文我们继续来讨论HDFS扩展性相关的问题。在本文的阐述过程中，我们将通过一个平时遇到的典型问题-HDFS小文件过多问题作为贯穿全文的一个核心要点。在下文中，笔者将会介绍小文件的缘由，现有解决办法，新的解决方案等等内容。
2017-01-08 14:25:07
10158
1
原创 聊聊HDFS BlockManager的服务化改造
前言在现有的HDFS中，NameNode扮演着一个十分重要的角色。它不仅需要处理集群中所有文件相关的操作（此处可理解为INode相关的操作），它还要处理更小粒度级别的操作，也就是block块级别的操作。随着HDFS的快速迭代发展，它所需要执行的操作也越来越重了。另一方面，一旦集群的数据量规模大幅度扩展的时候，相应的INode文件、block块数据信息将会耗掉NameNode大量的内存，这将会大大降低
2017-01-03 12:24:31
1987
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人