HDFS概述

HDFS概述

HDFS（Hadoop Distnbuted File System）分布式文件管理系统，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中服务器有各自的角色。
使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。所以适合做数据分析，但不适合做网盘应用。

HDFS的优缺点

优点：
1)高容错性
①数据自动保存多个副本。他通过增加副本的形式，提高容错性。
②某一个副本丢失以后，它可以自动恢复
2）适合处理大数据
①数据规模：能够处理数据规模达到GB、TB甚至PB级别的数据
②文件规模：能够处理百万规模以上的文件数量，数量相当之大
3）可构建在廉价机器上，通过多副本机制，提高可靠性
缺点：
1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
2）无法高效的对大量小文件进行存储
3）不支持并发写入，文件随机修改，仅支持追加

HDFS组成框架

1）NameNode(NN):Master，是一个管理者
①管理HDFS的名称空间
②配置副本策略
③管理数据块（Block）映射信息
④处理客户端读写请求
2）DataNode:Slaver.NameNode下达命令，DataNode是执行指定操作
①存储实际的数据块
②执行数据块的读写操作
3）Client:就是客户端
①文件切分，Client将文件切分成一个一个的Block,然后进行上传
②与NameNode交互，获取文件的具体位置
③与DataNode交互，读取或写入文件
④Client提供一些命令来管理HDFS，比如NameNode格式化
⑤Client可以通过一些命令来管理HDFS，比如HDFS的增删改查
4）SecondaryNameNode:并非NameNode的备份。当NameNode挂掉的时候，不能马上代替NameNode提供服务
①辅助NameNode,分担工作量
②在紧急情况下，可以辅助恢复Namenode

HDFS文件块的大小（面试重点）

①当HDFS的块设置的大小，会增加寻址的时间，程序一直在找块的开始位置
②如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常的慢
总结：HDFS块的大小设置主要取决于磁盘传输速度