博客专栏  >  架构   >  HDFS源码分析

HDFS源码分析

简单的对HDFS进行代码原理的分析

关注
15 已关注
6篇博文
  • HDFS源码分析(一)-----INode文件节点

    前言在linux文件系统中,i-node节点一直是一个非常重要的设计,同样在HDFS中,也存在这样的一个类似的角色,不过他是一个全新的类,INode.class,后面的目录类等等都是他的子类。最近学习...

    2015-08-11 23:18
    2925
  • HDFS源码分析(二)-----元数据备份机制

    前言在Hadoop中,所有的元数据的保存都是在namenode节点之中,每次重新启动整个集群,Hadoop都需要从这些持久化了的文件中恢复数据到内存中,然后通过镜像和编辑日志文件进行定期的扫描与合并,...

    2015-08-15 17:47
    2170
  • HDFS源码分析(三)-----数据块关系基本结构

    前言正如我在前面的文章中曾经写过,在HDFS中存在着两大关系模块,一个是文件与block数据块的关系,简称为第一关系,但是相比于第一个关系清晰的结构关系,HDFS的第二关系就没有这么简单了,第二关系自...

    2015-08-18 23:38
    2099
  • HDFS源码分析(四)-----节点Decommission机制

    前言在Hadoop集群中,按照集群规模来划分,规模可大可小,大的例如百度,据说有4000台规模大小的Hadoop集群,小的话,几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群,...

    2015-08-20 08:33
    2850
  • HDFS源码分析(五)-----节点注册与心跳机制

    前言在Hadoop的HDFS启动的时候,不知道大家有没有注意到一个细节,一般都是先启动NameNode,然后再启动DataNode,细想一下,原因就很简单了,因为NameNode要维护元数据信息,而这...

    2015-08-24 23:18
    2415
  • HDFS源码分析(六)-----租约

    前言在文章开始,先讲个大家都经历过的事--去图书馆借书,当然,喜欢阅读的朋友也许和我一样比较喜欢借书阅读,借书阅读方便是方便,但是唯一不好的地方在于他又期限,就是deadlline,之前在我们学校有规...

    2015-08-26 23:11
    2410
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部