一、HDFS概述
HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发,运行在通用硬件上的分布式文件系统。
其除具备其它分布式文件系统相同特性外,还有自己特有的特性:
高容错性:认为硬件总是不可靠的
高吞吐量:为大量数据访问的应用提供高吞吐量支持
大文件存储:支持存储TB-PB级别的数据
HDFS适合做什么?
大文件存储、流式数据访问
HDFS不适合做什么?
大量小文件、随机写入、
二、基本架构
三、HDFS的高可靠性
四、HDFS文件写入流程
五、HDFS读数据流程
六、HDFS特性
(1)统一的文件系统:
HDFS对外仅呈现一个统一的文件系统。
(2)统一的通讯协议:
统一采用RPC方式通信。NameNode被动的接收Client, DataNode的RPC请求。
(3)空间回收机制:
支持回收站机制,以及副本数的动态设置机制。
(4)数据组织:
数据存储以数据块为单位,存储在操作系统的HDFS文件系统上。
(5)访问方式:
提供JAVA API,HTTP方式,SHELL方式访问HDFS数据。
低延迟读取