分布式文件系统HDFS

• HDFS
  HDFS官网http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
• HDFS架构(HBase和YARN都是这种架构)
  1个Master带N个Slaves,Master就是NameNode(NN),Slaves就是DataNode(DN)
  1个文件会被拆分成多个Block
  blocksize:128M
  130M=>2个block,一个128M，一个2M
• NN：
  1）负责客户端请求的响应
  2）负责元数据（文件的名称和副本系数，Block存放的DN）的管理
• DN：
  1）存放数据块
  2）负责向DN发送心跳信息，汇报本身及其所有的block信息，健康状况
  典型的架构是一台机器运行一个NameNode,集群里面的其他机器都会运行一个DataNodes
  建议：NN和DN部署在不同的节点上

- 架构图

• HDFS特性：
• 支持传统的层级文件创建及存储
• 对于文件的任何操作都会被NameNode记录下来
• 应用程序能够指定副本的系数是多少
• 任意时间内都只能有一次写操作