hadoop1.x：hdfs

HDFS：Hadoop Distributed File System

分布式存储系统，提供了高可靠、高扩展性和高吞吐率的数据存储服务

HDFS优点 ：

1.高容错性：数据自动保存多个副本；副本丢失后，自动恢复

2.适合批处理：移动计算而非数据，数据位置暴露给计算框架

3.适合大数据处理

4.可构建在廉价的机器上：通过多副本提高可靠性；提供了容错和恢复机制

HDFS缺点 ：

高延迟数据访问

小文件存取：占用NameNode大量内存，

并发写入、文件随机修改：一个文件只能有一个写入者， 仅支持append操作

数据存储 ：

文件被切分为固定大小的数据块（block），hadoop1.x默认为64M，hadoop2.x默认为128M

存放方式：按大小切分为若干个block，存储在不同节点上，默认为每个block都有三个副本

block大小和副本数通过client端上传文件时设置，文件上传成功后，副本数可以变更，Block Size不能改变

HDFS架构

NameNode（文件包括fsimage、edits、fstime）

主要是接收客户端的读写服务 ，保存metadata（文件名，副本数，blk1，blk_2,{blk1,{node1,node2},{blk_2,{node2,node3}}},文件的owership和permission）｝