走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

HDFS QJM机制分析

前言上周写了一篇译文专门从结构设计的层面来分析HDFS的QJM机制,总体而言,文章偏重理论介绍.本文将继续围绕QJM机制展开分析,但是不同点在于,本文将会从更细粒度的层面来分析这套机制,帮助大家从源代码层面理解QJM的具体实现.本文将从Active/Standby的editlog读写,QJM的RP...

2016-08-27 17:45:07

阅读数:3784

评论数:1

HDFS QJM的架构设计

概述 背景 HDFS-1623和其他相关的JIRA在现有HDFS的NameNode基础上增加了HA的支持,但是他们需要依赖一个存放editlog文件的共享存储目录.而且这个共享存储必须也是高可用的,它们会被集群中所有NameNodes同时访问. 目前对于共享的editlog存储目录,...

2016-08-20 17:25:23

阅读数:3125

评论数:0

NameNode热迁移方案

方案目标 将现有NameNode迁移到新的节点上,期间保证集群对外提供服务. 方案背景 随着集群数据量和规模的扩增,需要将NameNode迁移到性能更优的机器上,以此提高NameNode的请求处理效率. 传统方案: 冷迁移 具体步骤 传统方案的做法比较简单,主要步骤如下...

2016-08-18 19:14:27

阅读数:3473

评论数:4

记两次NameNode响应延时问题

前言 最近一两周,本人在维护公司内部集群的时候,遇到了一些性能问题,(可能这些问题以前也都存在,只是不容易被发现)表现出来的特征就是NameNode响应请求非常慢,然后导致各种超时,用户体验非常糟糕.因为本人目前使用的版本是2.7.1(社区最新发布版本2.7.2),应该算是非常新的版本了,在...

2016-08-13 19:14:58

阅读数:3535

评论数:0

HDFS Federation机制

前言在上一篇文章HDFS自定义小文件分析功能中,提到了NameNod内存空间使用过高的问题,紧接着提到了其中一个解决方案,就是HDFS Federation.说来也是挺奇怪的,HDFS的Federation机制其实在Hadoop很早的版本中就就有了,可是从日常使用上来看,了解和真正使用这个功能的人...

2016-08-06 22:41:07

阅读数:7136

评论数:1

HDFS自定义小文件分析功能

前言 看完本文的标题,可能有读者会心想:HDFS为什么会与小文件分析挂钩呢?Hadoop的设计初衷不是偏向于存储单位体量规模较大的文件的吗?设计这样的功能有什么实际用途呢?这背后其实是有很多内容可以讲的,说起HDFS中的小文件,我们并不是关心它到底有多小,而是在于它太多.而文件太多的原因往往...

2016-08-02 19:24:46

阅读数:4330

评论数:0

提示
确定要删除当前文章?
取消 删除