后端分布式系列:分布式存储-HDFS DataNode 设计实现解析

前文分析了 NameNode,本文进一步解析 DataNode 的设计和实现要点。文件存储DataNode 正如其名是负责存储文件数据的节点。HDFS 中文件的存储方式是将文件按块(block)切分,默认一个 block 64MB(该大小可配置)。若文件大小超过一个 block 的容量可能会被切分为多个 block,并存储在不同的 DataNode 上。若文件大小小于一个 block 的容量,则文件...
阅读(2114) 评论(0)

后端分布式系列:分布式存储-HDFS NameNode 设计实现解析

接前文 分布式存储-HDFS 架构解析,我们总体分析了 HDFS 架构的主要构成组件包括:NameNode、DataNode 和 Client。本文首先进一步解析 HDFS NameNode 的设计和实现要点。元数据持久化NameNode 将所有元信息以特定的数据结构组织存放在内存中,对于 namespace 和 replication factor 的信息会进行持久化,而映射关系则不会持久化。因为...
阅读(1587) 评论(0)

后端分布式系列:分布式存储-HDFS 架构解析

本文以 Hadoop 提供的分布式文件系统(HDFS)为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么?分布式文件系统属于分布式存储中的一种面向文件的数据模型,它需要解决单机文件系统面临的容量扩展和容错问题。所以 HDFS 的架构设计目标就呼之欲出了: 面向超大文件或大量的文...
阅读(2842) 评论(0)

写文章与写程序

同样是驾驭语言,写文章和写程序有何异同?...
阅读(1232) 评论(0)

自驾五千公里后

最近一次自驾游,但不是游记...
阅读(1280) 评论(1)
    个人资料
    • 访问:1182071次
    • 积分:11554
    • 等级:
    • 排名:第1327名
    • 原创:171篇
    • 转载:0篇
    • 译文:9篇
    • 评论:914条
    文章分类
    最新评论