HDFS启动过程

借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm
http://blog.csdn.net/xh16319/article/details/31375197

要了解hdfs的启动,首先要了解几个概念:
namenode,Secondarynamenode,datanode

namenode

  1. 是一个中心服务器,他控制客户端对文件的访问,是一个集群的入口
  2. namenode负责对元数据的操作,并根据集群的情况”决定”将副本放置在某个nodedata上,
  3. namenode管理数据块的复制,每3s接受一次datanode的心跳信号,每1h接收一次daanode的块报告
    注意:当超过10min没有接收到心跳报告,则认为该节点死亡,当可用的block过低时,namenode将控制集群变成安全模式(safe mode)
    4.namenode命名空间信息,块信息

databode

 1. 以"块(block)"的形式存储数据,1块=128M,datanode由无数的块组成
 2. 向namenode发送“心跳”和“块报告”,及时反馈情况
 3. "在线扩容"或者"下线"
是hdfs整个集群的中心节点,管理整个集群所有的datanode节点,以及客户端对文件的访问,简单来说就是一个入口
_____________

SecondaryNamenode
负责辅助namenode存储数据

在hdfs运行时,SecondaryNameNode会定期的读取NameNode中的fsimage和edit并将两个文件合并成一个新的fsimag.ckbt 然后复制到NameNode中覆盖原有的fsimage加载到内存并产生一个新的为空的edits文件。
这里写图片描述


启动的顺序:

这里写图片描述
在namenoe启动时:
1.读取硬盘中fsimage文件,同时加载到内存中(如果是第一次启动,fsimage是通过初始化形成的空的文件)

2.会创建一个空的edit文件,存放hdfs操作产生新的信息

这个过程主要是防止一个集群打开很长时间运行不重启,而导致edit文件很大,再重启的时候会很慢,甚至重启失败

在之后的启动中,则读取之前最新的fsimage文件

3.datanode将会向namenode进行注册,向namenode发送心跳和块报告

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值