博客专栏  >  云计算/大数据   >  HDFS深入解析

HDFS深入解析

HDFS在Hadoop中扮演了非常基础的作用,以文件系统的形式为上层应用提供海量数据的存储服务。本专栏主要研究HDFS的架构,及Client,NameNode,DataNode的具体实现。

关注
84 已关注
4篇博文
  • HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构

    Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先...

    2014-05-01 09:43
    7066
  • HDFS追本溯源:HDFS操作的逻辑流程与源码解析

    本文主要介绍5个典型的HDFS流程,这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。 Client和NameNode,主要是介绍了Client对NN的各种文件系统目录树元数据的...

    2014-04-13 19:37
    14708
  • HDFS追本溯源:体系架构详解

    Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。HDFS在Hadoop中扮演了非常基础的作用,以文件系统的形式为上层...

    2014-04-11 21:13
    16837
  • HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

    HDFS,为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构,早期的架构包括一个主节点NameNode和多个从节点DataNode。 HD...

    2014-04-10 11:50
    18922
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部