大数据
idonot
这个作者很懒,什么都没留下…
展开
-
HDFS namenode源码分析
Namenode的介绍一个典型的HDFS系统包括一个NameNode和多个DataNode。NameNode作为HDFS中文件目录和文件分配的管理者,它保存的最重要信息,就是下面两个映射:文件名=>数据块数据块=>DataNode列表其中,文件名=>数据块保存在磁盘上(持久化);但NameNode上不保存数据块=>DataNode列表,该列表是通过Dat转载 2013-09-16 10:18:53 · 1934 阅读 · 0 评论 -
HDFS的基本概念
HDFS的基本概念1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。2、元数据节点(Namenode)转载 2013-09-16 10:15:21 · 1007 阅读 · 0 评论 -
HDFS datanode源码分析
datanode的介绍一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。每个DataNode周期性和唯一的NameNode通信,还时不时和hdfs客户端代码以及其他datanode通信。 datanode维护一个重要的表: 块=>字节流这些存储在本地磁盘,DataNode在转载 2013-09-16 10:21:31 · 1298 阅读 · 0 评论 -
HDFS dfsclient读文件过程 源码分析
HDFS读取文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk(默认512Byte)组成。Chunk是进行数据校验的基本单位,对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在读取一个block的时候,数据传输的基本单位是packet,转载 2013-09-16 10:25:57 · 1096 阅读 · 0 评论 -
HDFS dfsclient写文件过程 源码分析
HDFS写入文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk(默认512Byte)组成。Chunk是进行数据校验的基本单位,对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个block的时候,数据传输的基本单位是pac转载 2013-09-16 10:28:27 · 1084 阅读 · 0 评论