大数据之HDFS

  一、HDFS概述

HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。

       其除具备其它分布式文件系统相同特性外，还有自己特有的特性：

       高容错性：认为硬件总是不可靠的

       高吞吐量：为大量数据访问的应用提供高吞吐量支持

       大文件存储：支持存储TB-PB级别的数据

         HDFS适合做什么？

      大文件存储、流式数据访问   

      HDFS不适合做什么？

      大量小文件、随机写入、

二、基本架构

  

三、HDFS的高可靠性

  

四、HDFS文件写入流程

五、HDFS读数据流程

 

六、HDFS特性

   (1)统一的文件系统：

   HDFS对外仅呈现一个统一的文件系统。

   (2)统一的通讯协议：

   统一采用RPC方式通信。NameNode被动的接收Client, DataNode的RPC请求。

  (3)空间回收机制：

  支持回收站机制，以及副本数的动态设置机制。

 (4)数据组织：

  数据存储以数据块为单位，存储在操作系统的HDFS文件系统上。

  (5)访问方式：

  提供JAVA API，HTTP方式，SHELL方式访问HDFS数据。

低延迟读取