走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

HDFS SBN实现与ANN的一致性读

前言 众所周知,HDFS在启用HA模式下时,会有一个ANN(Active NameNode),以及一个SNN(Standby NameNode)。它们之间在通过QJM机制实现元数据的信息同步,简单的来说就是ANN将改动的元数据消息记录(editlog)写到JNN(JournalNode)上,...

2018-05-30 11:31:30

阅读数:538

评论数:2

HDFS文件目录list操作加速优化

前言 在我们使用HDFS作为数据存储文件系统时,恐怕最常使用到的命令就是ls命令了。我们往往先使用这个命令查找出目前我们期待的文件目录信息,然后对查出的这些文件目录做后续的操作。所以说,list操作的执行效率高低对用户以及上层应用层调用程序来说就显得十分重要了。 当前List操作的问题 ...

2018-05-25 16:27:10

阅读数:835

评论数:0

ListenableFuture和CompletableFuture简单小结

前言 最近花了点时间熟悉了下ListenableFuture和CompletableFuture的使用。二者都是原生JDK中老版Future-Get模式的改进。本文将结合demo程序来直观的学习一下这两大Future的使用特点。 老版Future模式的缺点 老版Future模式一...

2018-05-19 11:30:17

阅读数:1730

评论数:3

公司如何使用开源软件

前言 本篇文章的内容来自于Hadoop元老级人物(也是Cloudera首席架构师)Doug Cutting对于公司如何使用开源软件来提升公司商业价值的一个分享。其中分享了很多与公司和开源有关的一些内容,本文对其做了简单的小结和概括(第一人称叙述)。原文为纯英文,感兴趣的同学,点击此链接阅读:...

2018-05-07 18:16:00

阅读数:638

评论数:0

LinkedBlockingQueue和ArrayBlockingQueue之间的比较

前言 最近在工作中用到了LinkedBlockingQueue,不过随后发现了另一个与此用途十分类似的类ArrayBlockingQueue。于是花了点时间,查阅了相关的文章介绍,本篇就来简单的做个小结,也是为了方便下次查阅。 LinkedBlockingQueue和ArrayBlocki...

2018-05-06 22:37:46

阅读数:494

评论数:2

简单聊聊HDFS RBF第二阶段工作近期的一些进展

前言 前些时间Apache Hadoop 3.1.0版本正式发布,里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进,参与的是HDFS RBF这块,所以就简单聊聊这块所做的一些事情,旨在帮助大家方便了解这个feature具体做什么的...

2018-05-05 21:57:09

阅读数:441

评论数:0

提示
确定要删除当前文章?
取消 删除