【Hadoop】HDFS概述

HDFS 定义

HDFS(Hadoop Distributed File System)，它是一个文件系统，用于储存文件，通过目录树来定位文件；其次，它是 分布式 的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
  HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。

HDFS 优缺点

优点：

1）高容错性
数据自动保存多个副本,某个副本丢失以后，它可以自动恢复
2）适合处理大数据
能够处理数据规模大的数据；能够处理百万规模以上的文件数量
3）可构建在廉价机器上，通过多副本机制，提高可靠性

缺点：

1）不适合低延时数据访问
2）无法高效的对大量小文件进行存储
存储大量小文件会占用namenode大量的内存来存储文件目录和块信息，并且小文件存储的寻址时间会超过读取时间
3）不支持并发写入，不支持文件随机修改

HDFS组成架构

1) NameNode(NN)：就是Master，是一个主管者
（1）管理HDFS名称空间
（2）配置副本信息
（3）管理数据块映射空间
（4）处理客户端读写请求
2）DataNode(DN)：就是Slave,NameNode下达命令，DataNode执行实际操作
（1）存储实际的数据块
（2）执行数据块的读写操作
3）Client:就是客户端
（1）文件切分，文件上传HDFS的时候，Client将文件切分成Block，然后上传
（2）与NameNode交互，读取文件的位置信息
（3）与DataNode交互，读取或者写入数据
（4）Client提供一些命令来管理HDFS,如NameNode格式化
（5）Client可以通过一些命令来访问HDFS，如对HDFS的增删查改操作
4）Secondary NameNode:并非Namenode的热备，当namenode挂掉的时候，它并不能马上替换namenode并提供服务
（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits,并推送给NameNode
（2）在紧急情况下，可辅助恢复NameNode

HDFS文件块大小