1.Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)
上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点
。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,
适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索
引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。
而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。
HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。
2.hdfs适合一次写入,多次读出的场景,暂不支持文件的修改
3.HDFS的优点:
高容错性:(1)数据自动保存多个副本,他通过增加副本的形式,提高容错性。某一个副本丢失以后,他可以自动恢复
(2)适合处理大数据 数据规模:能够处理数据规模达到GB,TB,甚至PB级别的数据
文件规模:能够处理百万规模以上的文件数量,数量相当之大
(3)可构建在廉价机器上,通过多副本机制,提高可靠性
4.HDFS的缺点:
(1)不适合低延时数据访问,比如毫秒级的存储数据,是做不到的
(2)无法高效的对大量小文件进行存储
存储大量小文件的话,他会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的,因为NameNode的内存总是有限的。
小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。
(3)不支持并发写入,文件随机修改
(1)一个文件只能有一个写,不允许多个线程同时写。
(2)仅支持诗句append,不支持文件的随机修改
Client:客户端
(1)文件切分,文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行上传
(2)与NameNode交互,获取文件的位置信息
(3)与DataNode交互,读取或者写入数据
(4)Client提供一些命令来管理HDFS,比如NameNode格式化
(5)通过命令访问HDFS,对HDFS进行增删改查操作
Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,他并不能马上替换NameNode并提供服务
(1)辅助namenode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode
(2)在紧急情况下,可辅助恢复NameNode
6.HDFS文件块大小
Hdfs中的文件在物理上是分块存储的,块的大小可以通过配置参数(dfs.block.block)配置,默认是128M
如果HDFS的设置块太小,会增加寻址时间。
如果太大,从磁盘传输数据的时间会明显大于定位这个块开始所需的时间,太慢。
HDFS块的大小设置主要取决于磁盘传输速率