HDFS简要介绍

HDFS 出现背景

随着数据量越来越大，一个操作系统存不下所有数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。。HDFS只是分布式文件管理系统中的一种。

HDFS定义

HDFS(Hadoop Distributed File System),它是一个文件系统，用于存储文件，通过目录树来定位文件，其次是分布式，由很多服务器联合起来实现其功能，集群中服务器有各自角色。

HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件修改，适合用来做数据分析，并不适合用来做网盘应用。

HDFS优缺点

优点

• 高容错性
  数据自动保存多个副本，它通过增加副本，提高容错性
  某一个副本丢失，可以自动恢复

• 适合处理大数据
  1 数据规模:能够处理数据规模达到GB、TB甚至PB级别的数据
  ２文件规模：能够处理百万规模以上的文件数量

• 高可靠
  　可以构建在廉价机器上，通过多副本机制，实现高可靠性

缺点

• 不适合低延时数据访问
  　　　毫秒级的存储数据，是做不到的
• 无法高效的对大量小文件进行存储
  　　存储大量小文件，会占用NameNode大量的内存来存储文件目录和块信息，这种方式不可取，因为NameNode的内存是有限的
  　　小文件存储的寻址时间会超过读取时间，违反HDFS的设计目标
• 不支持并发写入、文件随机修改
  一个文件只能有一个写，不允许多个线程同时写
  仅支持数据追加（append),不支持文件随机修改