第一章 HDFS概述
1、HDFS产生背景及定义
随着数据量的爆炸增长,一个操作系统存不下所有的数据;这样就需要把数据分配到更多的操作系统管理的磁盘中,但是这样也随着带来一些问题:不方便管理和维护。在这样的情况下,需要一种系统能管理多台机器上的文件,这就是分布式文件管理系统,而HDFS就是其中的一种。
HDFS英文全称为:Hadoop Distributed File System, 是一个文件系统,用来存储文件,通过目录树来定位 文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色
HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改,适合用来做数据分析。
2、HDFS优缺点
优点:
1)高容错性
数据自动保存多个副本,通过增加副本的形式,来提高容错性。某一个副本丢失以后,可以自动恢复
2)适合处理大数据
(1)数据规模:能够处理数据规模达到GB、RB,甚至PB级别的数据
(2)文件规模:能够处理百万规模以上的文件数量
3)可构建在廉价机器上
缺点:
1)不适合低延时数据访问
2)无法高效的对大量小文件进行存储
(1)存储大量小文件,就会占用NameNode大量的内存来存储文件目录和块信息。
(2)小文件存储的寻址时间会超过读取时间,违反了HDFS的设计目标
3)不支持并发写入、文件随机修改
(1)一个文件只能由一个线程写入,不允许多个线程同时写
(2)仅支持数据append,不支持文件的随机修改
3、HDFS组成架构
1)NameNode(NN):
(1)管理HDFS的名称空间