简单介绍ZooKeeper。
背景介绍
HDFS1.0
- 名称节点保存元数据:
- 在磁盘上
- FsImage和EditLog
- 在内存中
- 映射信息,即文件包含哪些块,每个块存储在哪个数据节点
- 在磁盘上
- 单点故障
SecondaryNameNode
会定期和NameNode
通信- 从
NameNode
上获取到FsImage
和EditLog
文件,并下载到本地的 相应目录下 - 执行
EditLog
和FsImage
文件合并 - 将新的
FsImage
文件发送到NameNode
节点上 NameNode
使用新的FsImage
和EditLog
(缩小了)
- 从
- 第二名称节点用途
- 不是热备份
- 主要是防止日志文件
EditLog
过大,导致名称节点失败恢复时消耗过多时间 - 附带起到冷备份功能
- 因此,
NameNode
保存元数据:- 如何解决单点故障的问题?
- 如何借助系统实现热备份?