Hadoop学习之HDFS

     Hadoop框架的两大核心部件是HDFS和MapReduce。HDFS是 Hadoop Distributed File System的缩写，是Java实现的、分布式的、可横向扩展的文件系统。存储的物理资源不一定在本地存放，可以通过网络与其他节点相连。HDFS的块大小默认为64字节。如果数据没有达到块大小则不占用实际磁盘空间。HDFS分为namenode和datanode两种节点。namenode存储元数据（文件名、目录名、块的存放位置等）。datanode存储实际数据。每个块在集群上默认存储3份（冗余备份）。namenode中fsimage和edits用来存储元数据信息。块的位置信息不做持久化。而secondary namenode的作用是阶段性合并fsimage和edits,使得edits的大小在合理范围内。