- 博客(3)
- 收藏
- 关注
RSS订阅原创 HDFS QJM原理分析
前言最近在重新研读HDFS QJM的细节实现，所谓“温故而知新”，感觉还是收获不少。之前笔者曾简单地翻译过HDFS QJM的设计文档，感兴趣的同学可以点此链接：HDFS QJM的架构设计。本文笔者打算挑选其中的一些细节要点，进程阐述。背景在HDFS QJM出现之前，editlog的一种推荐存储方式是基于NAS网络存储设备。这种方式会带来一些局限性：对于特定硬件的要求。...
2018-02-19 21:04:17
3153
原创 HDFS未来底层存储架构的演变趋势
前言经常关注笔者博客的朋友们，一定看过笔者之前写过的关于HDFS对象存储（Ozone）系列的文章，并且笔者曾经预言这个功能很快将要发布在最新的Hadoop社区版本中。但是在合并此功能分支代码时，社区内部展开了很多讨论：包括内部全新的存储结构设计，以及新结构会对现有HDFS结构造成何种影响。那么有同学就好奇了，为什么一个局部的功能特性代码，合入社区就这么麻烦呢？但是笔者可要郑重其事的说：这可...
2018-02-11 11:39:02
1860
原创 聊聊HDFS RBF第二阶段的主要改进
前言HDFS RBF特性（基于路由的Federation解决方案）已经在Apache Hadoop 3.0.0中正式发布了，此特性的发布将会大大方便于广大用户多于多集群的使用。另一方面来说，面对往后日益扩展，日益多样化的环境，单一，同构化的集群运行模式，不会是一个一劳永逸的方式了，异构，多集群的方式将会是一个趋势。其实在目前发布的版本中，HDFS RBF特性单纯实现了一个最基本功能的版本，
2018-02-03 21:37:03
3982
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人