- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 HDFS dfsclient写文件过程 源码分析
HDFS写入文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个block的时候，数据传输的基本单位是pac
2013-09-16 10:28:27
1051
转载 HDFS dfsclient读文件过程 源码分析
HDFS读取文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在读取一个block的时候，数据传输的基本单位是packet，
2013-09-16 10:25:57
1054
转载 HDFS datanode源码分析
datanode的介绍一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。每个DataNode周期性和唯一的NameNode通信，还时不时和hdfs客户端代码以及其他datanode通信。 datanode维护一个重要的表: 块=>字节流这些存储在本地磁盘，DataNode在
2013-09-16 10:21:31
1258
转载 HDFS namenode源码分析
Namenode的介绍一个典型的HDFS系统包括一个NameNode和多个DataNode。NameNode作为HDFS中文件目录和文件分配的管理者，它保存的最重要信息，就是下面两个映射：文件名=>数据块数据块=>DataNode列表其中，文件名=>数据块保存在磁盘上（持久化）；但NameNode上不保存数据块=>DataNode列表，该列表是通过Dat
2013-09-16 10:18:53
1911
转载 HDFS的基本概念
HDFS的基本概念1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。2、元数据节点(Namenode)
2013-09-16 10:15:21
993
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人