大数据存储之HDFS

大数据存储知识地图

                              

 

Hadoop分布式文件系统 

            分布式文件系统:它是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式文件系统的设计一般采用“客户机/服务器（Client/Server）”模式 。目前广泛运用到的分布式文件系统主要包括GFS和HDFS，后者是针对前者的开源实现。这一篇主要讲HDFS.

HDFS简介 

        HDFS原来是Apache Nutch搜索引擎的一部分，后来独立出来作为一个 Apache的一个子项目，并且和MapReduce一起成为Hadoop的核心 组成部分。HDFS支持流数据的读取和处理超大规模文件，并能够运行在由廉价的普通机器组成的集群上。总体而言HDFS要实现一下目标：

• 廉价兼容的硬件设备
• 流数据读写
• 简单文件模型
• 大数据集
• 强大的跨平台兼容性

HDFS也有自身的局限性：

• 不适合低延迟数据访问
• 无法高效存储大量小文件
• 不支持多用户写入及任意修改文件 

HDFS的相关概念

一、块

     在传统的文件系统中，为了提高磁盘读写效率，一般以数据块为单位，而不是以字节为单位。那HDFS也采用了块的概念，