简述hdfs工作原理_HDFS 原理简述

HADOOP基础 HDFS原理

​Hadoop是Apache软件基金会开发的一款并行计算框架和分布式文件管理系统。其核心模块包括HDFS，Hadoop common，MapReduce。这里我们简要的介绍HDFS系统，分析其基本架构、原理，本文只涉及HDFS的理论部分，后续将给出详细的HDFS搭建步骤。

一、HDFS介绍

在当前的工作和研究的环境下，单机容量往往无法满足存储的需要，大量的数据的存储需要跨机器实现，hadoop就是针对这些问题的一个框架。我们利用hadoop建立集群后，统一管理分布在集群上的文件系统叫做分布式文件系统(HDFS系统)。为达到目的，不免在系统中引入网络，随之也引入了网络编程的复杂性，例如需要保证在节点不可用的时候数据不会丢失。

HDFS，是Hadoop Distributed File System的简称，它是Hadoop的一个子项目，也是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。

二、设计目标大规模数据集

运行在HDFS上的应用具有很大的数据集，其典型文件的大小常是GB甚至TB字节。因此HDFS应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。这类文件一般需要高吞吐量，且对延时没有要求流式数据访问

运行在HFDS上的应用需要流式访问他们的数据集，因此HDFS设计中更多的考虑到了数据批处理，而不是用户交互处理。HDFS基于这样的一个假设：最有效的数据处理