借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm
http://blog.csdn.net/xh16319/article/details/31375197
要了解hdfs的启动,首先要了解几个概念:
namenode,Secondarynamenode,datanode
namenode
- 是一个中心服务器,他控制客户端对文件的访问,是一个集群的入口
- namenode负责对元数据的操作,并根据集群的情况”决定”将副本放置在某个nodedata上,
- namenode管理数据块的复制,每3s接受一次datanode的心跳信号,每1h接收一次daanode的块报告
注意:当超过10min没有接收到心跳报告,则认为该节点死亡,当可用的block过低时,namenode将控制集群变成安全模式(safe mode)
4.namenode命名空间信息,块信息
databode
1. 以"块(block)"的形式存储数据,1块=128M,datanode由无数的块组成
2. 向namenode发送“心跳”和“块报告”,及时反馈情况
3. "在线扩容"或者"下线"
是hdfs整个集群的中心节点,管理整个集群所有的datanode节点,以及客户端对文件的访问,简单来说就是一个入口
_____________
SecondaryNamenode
负责辅助namenode存储数据
在hdfs运行时,SecondaryNameNode会定期的读取NameNode中的fsimage和edit并将两个文件合并成一个新的fsimag.ckbt 然后复制到NameNode中覆盖原有的fsimage加载到内存并产生一个新的为空的edits文件。
启动的顺序:
在namenoe启动时:
1.读取硬盘中fsimage文件,同时加载到内存中(如果是第一次启动,fsimage是通过初始化形成的空的文件)
2.会创建一个空的edit文件,存放hdfs操作产生新的信息
这个过程主要是防止一个集群打开很长时间运行不重启,而导致edit文件很大,再重启的时候会很慢,甚至重启失败
在之后的启动中,则读取之前最新的fsimage文件
3.datanode将会向namenode进行注册,向namenode发送心跳和块报告