走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

HDFS QJM原理分析

前言 最近在重新研读HDFS QJM的细节实现,所谓“温故而知新”,感觉还是收获不少。之前笔者曾简单地翻译过HDFS QJM的设计文档,感兴趣的同学可以点此链接:HDFS QJM的架构设计。本文笔者打算挑选其中的一些细节要点,进程阐述。 背景 在HDFS QJM出现之前,edit...

2018-02-19 21:04:17

阅读数 804

评论数 0

HDFS未来底层存储架构的演变趋势

前言 经常关注笔者博客的朋友们,一定看过笔者之前写过的关于HDFS对象存储(Ozone)系列的文章,并且笔者曾经预言这个功能很快将要发布在最新的Hadoop社区版本中。但是在合并此功能分支代码时,社区内部展开了很多讨论:包括内部全新的存储结构设计,以及新结构会对现有HDFS结构造成何种影响。...

2018-02-11 11:39:02

阅读数 648

评论数 0

聊聊HDFS RBF第二阶段的主要改进

前言 HDFS RBF特性(基于路由的Federation解决方案)已经在Apache Hadoop 3.0.0中正式发布了,此特性的发布将会大大方便于广大用户多于多集群的使用。另一方面来说,面对往后日益扩展,日益多样化的环境,单一,同构化的集群运行模式,不会是一个一劳永逸的方式了,异构,多...

2018-02-03 21:37:03

阅读数 448

评论数 0

提示
确定要删除当前文章?
取消 删除