HDFS简单入门

HDFS入门

1.HDFS也是主从的结构，主为namenode，从为datanode;

  namenode:用来存放客户端向HDFS中提交的文件记录，datanode:用来存放具体的文件块。

  客户端上传文件给HDFS时，会被切分成很多的块，在Hadoop1.x时代一个块是60M，2.x时代一个块默认值为128M，而且不同的块在不同的机器中也有具体的副本，默认副本数   量是3个。

2.secondarynamenode在主节点机器中以一个进程的方式来启动；

  secondary namenode:客户端向HDFS提交文件时，会被写入到内存中，同时也会向磁盘的edits文件中记录具体的操作步骤,同时也会生成一个fsimage记录镜像文件，该文件的内容就是记录当前进程中的文件元数据，当namenode节点重启时，内存中的元数据消失了，再重启时会立即从fsimage中把具体的元数据信息加载的内存，速度非常快，但是fsimage中的内容是何时写入的，这个就是secondarynamenode会有一个定时的任务，定期的慧聪namenode中把edits和fsimage文件下载过去，在进行合并，合并后再发送给namenode中覆盖原先的fsimage，这样当namenode重启时，直接把fsimage的内容加载到内存作为元数据的信息恢复，这样会很快。