HDFS概述

一、HDFS是什么

HDFS是一个分布式文件管理系统。——用来管理多个服务器上所有文件的东东

什么是文件管理系统：就是对文件进行管理和维护的系统。例如：在开始菜单右键打开文件资源管理器，这就是windows为我们用户提供的一个可视化的文件管理系统，通过它我们可以很方便的找到文件，对文件进行维护和管理。

什么是分布式：多个系统（可以简单的理解为多台服务器）分角色联合在一起完成某项工作。

特点：HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改，如果发现文件错误，可以删除重新上传。

二、HDFS的优缺点

1、优点

(1）高容错性
a）数据自动保存多个副本，提高容错性。
b）如果某个副本丢失，其他副本有备份，可以自动恢复。
2）适合大数据处理
a）数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据。
b）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3）部署成本低
可构建在廉价机器上，通过多副本机制，提高可靠性。

2、缺点

1）不适合低延时数据访问
比如像mysql那样毫秒级的读写数据，是做不到的。
2）无法高效的对大量小文件进行存储
a)存储大量小文件的话，它会占用NameNode更多的内存来存储文件的元数据。这样是不可取的，因为NameNode的内存总是有限的。在hdfs里面，每个block的元数据会占用150字节的内存空间。例如同样存储10M的内容，采取副本数为3的备份机制，这10M放在一个文件中，所用到的元数据占用的内存为1503=450字节，如果把这10M放到10个文件中，则占用15010*3=4500字节，很明显，存储相同的内容，第二种方式浪费的内存更多。
b)小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
i.寻址时间，目前技术水平在10ms左右
ii.传输 1

寻址时间/传输时间=1%，传输时间1000ms=1s，磁盘传输速度100M/S,计算机是2的n次方，所以hadoop2.x默认块的大小为128M。

3）不支持并发写入（即多个用户同时写一个文件）、文件随机修改（文件任意位置写）
a)一个文件只能有一个用户写，不允许多个线程同时写；
b)仅支持数据append（追加），不支持文件的随机修改。

三、HDFS组成架构

架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。
Client：就是客户端。
a)文件切分。文件上传HDFS的时候，并不是把一个大文件原封不动的上传上去，而而是由Client先将文件切分成一个一个的block，然后按照block进行存储
b)与NameNode交互，获取文件的位置信息，客户端要想传输数据，必须先于namenode通信，获取相应的datanode的地址。
c)与DataNode交互，读取或者写入数据，datanode是实际负责存储文件的。
d)Client提供一些命令来管理HDFS，比如启动或者关闭HDFS；
e)Client可以通过一些命令来访问HDFS。
NameNode（老大）：就是Master，它是一个主管、管理者，类似于会计，管账的。
a)管理HDFS的名称空间：namespace
b)管理数据块（Block）映射信息；
c)配置副本策略（默认）3
d)处理客户端读写请求。
DataNode（小弟）：就是Slave，干活的，类似于出纳，管钱。 NameNode下达命令，DataNode执行实际的操作，datanode是进程，它在接收到用户传递过来的数据后，将数据存储到本地的文件系统。
a)存储实际的数据块；
b)执行数据块的读/写操作。
SecondaryNameNode（老大的辅助）：并非NameNode的热备。 所谓的热备指的是，当namenode挂了之后，secondarynamenode马上就成承担namenode的任务。而实际上，当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
a)辅助NameNode，分担其工作量；
b)定期合并fsimage和Edits，并推送给NameNode；
c)在紧急情况下，可辅助恢复NameNode。