【HDFS】一.HDFS概述

HDFS概述

1.HDFS产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，
迫使需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。
HDFS只是分布式文件管理系统中的一种。
分布式文件管理系统： HDFS,GFS,FastFS,S3。

2.HDFS定义

Hadoop Distributed File System，是一个文件系统，多台服务器联合起来实现其功能，集群中的服务器有各自的角色。
使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，不适合用来做网盘应用。

3.HDFS优缺点

优点：
①.高容错性

②.可以构建在廉价的机器上
③.适合处理大数据
④.扩展性
缺点：
①.不适合低延迟数据访问
②.无法高效的对大量小文件进行存储
(ps:存储大量小文件会占用namenode大量的内存来存储文件目录和块信息，NameNode的内存是悠闲的，所以是不可取的； 小文件存储的寻址时间会超过读取时间，违背的HDFS的设计目标)
③.不支持并发写入，不支持文件随机修改，只支出数据Append

4.HDFS组织架构

NameNode(nn): 存储元数据信息，处理客户端读写请求，维护数据目录树，配置副本策略
DataNode(dn): 真正的存储数据块，执行数据块的读写操作。
Client:客户端。文件切分，文件上传HDFS的时候，Client将文件切分成一个一个的Block,然后进行上传；
与NameNode交互，获取文件的位置信息；
与DataNode进行交互，读取或者写入操作；
提供一些命令来管理HDFS，比如启动，格式化。
提供一些命令来访问HDFS，比如增删查改。
SecondaryNameNode:辅助NameNode,分担其工作量，定期合并Fsimage,推送给NameNode;
可辅助恢复NameNode

5.HDFS文件块大小

专家研究 发现当寻址时间为传输时间的1%时，为最佳。 当前磁盘的传输效率为100M/s。故将块大小设置为128MB为最佳。
块大小设置不能太小：当块大小设置太小时，程序一直找块的开始位置，增加寻址时间。
块大小设置不能太大：从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢。