大数据软件框架之Hadoop框架

大数据软件框架之

Hadoop框架：

Hadoop框架是由Java语言编写的，它的核心是HDFS（Hadoop分布式文件系统）和MapReduse，对于大数据而言，Hadoop就是用大量的廉价机器组成的集群去执行大规模运算，这包括大规模的计算和大规模的存储。HDFS为大数据提供了存储，MapReduse为大数据提供了计算。

HDFS是一个可运行在廉价机器上的可容错分布式文件系统，它把一个文件分割成一个或者多个数据块（默认大小是64MB），发布到集群的节点上，从而实现了高吞吐量的数据访问，这个集群拥有数百个节点，并支持千万级别的文件。因此，HDFS非常适合大规模数据集上的应用。