Hadoop架构之1.0

Hadoop架构之1.0

本文主要讲述Hadoop中HDFS的架构，详细的MapReduce将放到后面写一篇专门的博客

hadoop1.0架构

HDFS组件

• NameNode

  • 管理整个文件系统的目录树结构和元数据信息
  • 保管文件与Block块序列之间的对应关系，以及Block块与DataNode节点之间对应关系
  • Block副本及其存储位置等管理数据
  • DataNode状态监控
    • 两者通过段时间间隔的心跳来传递管理信息和数据信息，通过这种方式的信息传递，NameNode 可以获知每个 DataNode 保存的 Block 信息、DataNode 的健康状况、命令 DataNode 启动停止等（如果发现某个 DataNode 节点故障，NameNode 会将其负责的 block 在其他 DataNode 上进行备份）
  • 负责接受用户的操作请求
    元数据管理操作：
    **fsimage:**内存命名空间元数据在外存的镜像文件
    **editlog:**各种元数据操作的write-ahead-log文件，在体现到内存数据变化前首先会将操作记入editlog中，以防数据丢失。

  hadoop中的元数据管理主要通过fsimage文件和editlog文件进行操作，Secondary定期从NameNode中拉去fsimage和e