HDFS概论

        目录

一、HDFS产生背景及定义

二、HDFS优缺点

三、HDFS组成架构

---

HDFS（Hadoop分布式文件系统）

一、HDFS产生背景及定义

1、HDFS产生背景

       随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2、HDFS定义

        HDFS是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

        HDFS的使用场景：适合一次写入、多次读出的场景，且不支持文件的修改。适合用来做数据分析，不适合用来做网盘应用。

二、HDFS优缺点

1、HDFS优点

（1）高容错性

          

（2）适合处理大数据

         数据规模：能够处理数据规模达到GB、TB、PB级别的数据；

         文件规模：能够处理百万规模以上的文件数量，数量相当之大。

（3）可构建在廉价机器上，通过多副本机制，提高可靠性。

2、HDFS缺点

（1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

（2）无法高效的对大量小文件进行存储。

（3）不支持并发写入、文件随机修改。

三、HDFS组成架构

	NameNode	DataNode	Client	Secondary NameNode
含义	就是Master，它是一个主管、管理者	NameNode下达命令，DataNode执行实际的操作	客户端	并非NameNode的热备。 当NameNode挂掉对的时候，它并不能马上替换NameNode并提供服务。
作用	管理HDFS的名称空间； 配置副本策略； 管理数据块（Block）映射信息； 处理客户端读写请求；	存储实际的数据块；	文件切分。文件上传HDFS的时候，Client将文件切分成若干个Block，然后上传； 与NameNode交互，获取文件的位置信息； 与DataNode交互，读取或者写入数据； Client提供一些命令管理HDFS，如NameNode格式化； Client通过一些命令访问HDFS，如HDFS增删查改；	辅助NameNode并分担其工作量；

HDFS文件块大小：HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数来规定，默认大小在Hadoop2.x版本中是128M，老版本是64M。

  

思考：为什么块的大小不能设置太小，也不能设置太大？

答：(1) HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置。

       (2) 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，                会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。