Hadoop实训一

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它允许用户在不了解分布式底层细节的情况下，开发分布式程序，从而充分利用集群的威力进行高速运算和存储。

Hadoop的核心设计包括三个主要组件：

Hadoop Distributed File System (HDFS)：这是一个高可靠、高吞吐量的分布式文件系统，用于存储和处理海量数据。HDFS采用分块存储的方式，每个块的大小通常为128M。

Hadoop MapReduce：这是一个分布式的离线并行计算框架，用于处理和分析海量数据。MapReduce采用“分而治之”的思想，将大数据集划分为小数据集，然后对每个小数据集进行逻辑业务处理（Map阶段），最后合并统计数据结果（Reduce阶段）。

Hadoop YARN (Yet Another Resource Negotiator)：这是一个分布式资源管理框架，负责管理和调度集群中的资源，如内存和CPU核数。YARN使得Hadoop能够更高效地利用和管理集群资源。

三个组件共同构成了Hadoop的核心架构，为用户提供了分布式数据存储和计算的能力。

 

集群和分布式是计算机科学中的两个重要概念。

 

集群指的是将多台计算机连接起来协同工作，以提高系统的整体性能和可用性。集群一般分为计算集群、存储集群和通信集群等不同类型。计算集群主要负责高性能计算和大数据处理等任务，存储集群主要负责数据存储和管理，通信集群主要负责处理网络通信和消息传递等任务。

 

分布式系统则是一种将多台计算机组成一个整体，协同工作以完成一个共同任务的系统。分布式系统的设计目标是提高系统的整体性能和可靠性，并能够扩展到大规模的集群环境中。分布式系统通常由多个节点组成，每个节点都运行着相同的程序，并通过网络进行通信和协作。

 

Hadoop使用的主从分布式是一种常见的分布式架构模式，它通过将数据分成多个块，并将这些块分别存储在多个节点上，实现了数据的分布式存储。同时，Hadoop还使用了一种名为“主从”的机制来实现分布式计算。在Hadoop中，主节点负责调度任务、分配资源和监控任务执行情况，而从节点则负责执行具体的计算任务。主从机制可以有效地实现分布式计算的高效性和可靠性。