集群相关介绍（慎！纯文字）

阿瑜.

已于 2024-04-08 00:18:17 修改

阅读量632

点赞数 17

分类专栏：大数据文章标签：大数据 linux

于 2024-04-07 21:04:12 首次发布

本文链接：https://blog.csdn.net/Gongmoye/article/details/137477013

版权

大数据专栏收录该内容

9 篇文章 0 订阅

订阅专栏

一、Hadoop集群部署模式

Hadoop集群的部署方式主要分为三种：独立模式（Standalone mode）、伪分布式模式（Pseudo-Distributed mode）和完全分布式模式（Cluster mode）。

独立模式（Standalone mode）：也称为单机模式，在这种模式下，Hadoop集群的所有程序都在单个JVM上执行，无需运行任何守护进程。该模式主要用于开发和调试MapReduce程序，因为它提供了一种简单且方便的方式来测试代码。然而，由于它只在一个JVM上运行，因此无法充分利用多节点集群的计算资源。
伪分布式模式（Pseudo-Distributed mode）：在这种模式下，Hadoop的守护进程（如NameNode、DataNode、ResourceManager、NodeManager等）都运行在一台主机上，但它们各自启动单独的Java进程来模拟分布式环境。这种部署方式通常用于调试Hadoop分布式程序的代码，以及验证程序执行的正确性。伪分布式模式是完全分布式模式的一个特例，它允许在单台机器上模拟多节点集群的行为。
完全分布式模式（Cluster mode）：这是Hadoop在生产环境中的标准部署方式。在这种模式下，Hadoop的守护进程分别运行在由多台主机搭建的集群上，不同的节点担任不同的角色（如主节点和从节点）。这种部署方式可以充分利用集群中每台机器的计算和存储资源，提供高可用性和容错性。完全分布式模式适用于大规模数据处理和分析任务，能够处理PB级别甚至更大的数据集。

在选择Hadoop集群的部署方式时，需要根据实际需求和环境进行权衡。独立模式和伪分布式模式主要用于开发和调试阶段，而完全分布式模式则适用于生产环境。随着数据处理规模的扩大和复杂性的增加，完全分布式模式将成为更为合适的选择。

二、Hadoop集群组成

HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）：这是Hadoop集群的基础，用于存储大规模数据集。HDFS采用主从结构，由一个NameNode和多个DataNode组成。NameNode负责管理整个集群的元数据，包括文件系统的命名空间、文件的目录结构、权限信息等，并定期将其写入磁盘持久化。DataNode则负责存储实际的数据块，并定期向NameNode报告自己的存储容量和健康状态。
YARN（Yet Another Resource Negotiator）：YARN是Hadoop的资源管理器，负责管理和调度集群中的计算资源。它主要由ResourceManager和NodeManager组成。ResourceManager负责整个集群资源的统一管理和任务调度，而NodeManager则负责管理和监控本地资源，并根据ResourceManager的指示启动、停止或移动容器。
MapReduce：MapReduce是Hadoop的计算模型和处理框架，它将作业分解为多个并行的Map和Reduce任务，并自动处理作业的并行化和故障恢复。

除了上述核心组件外，Hadoop集群还可能包括其他辅助组件，如Secondary NameNode（辅助主节点），用于定期合并NameNode的编辑日志和内存镜像，并生成新的镜像文件；以及Client（客户端），通过Hadoop提供的API向集群提交作业，并获取执行结果。

综上所述，Hadoop集群是一个复杂的分布式计算系统，通过各个组件的协同工作，实现对大规模数据的高效处理和分析。

三、HDFS集群和YARN集群介绍

HDFS集群和YARN集群是两个不同的东西。

HDFS集群主要负责海量数据的存储。HDFS，即Hadoop分布式文件系统，是一个可靠且高度可扩展的文件系统，旨在存储大型数据集，并提供数据访问和处理的方法。它将数据分成块，并将每个块分别存储在集群中的不同节点上，以实现数据的冗余备份和容错性。

而YARN集群则主要负责海量数据运算时的资源调度。YARN，即Yet Another Resource Negotiator，是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。YARN的核心出发点是为了分离资源管理与作业调度/监控，它通过将多种计算框架（如MapReduce、Spark等）部署到一个公共集群中，共享集群的资源，实现资源的高效利用。

简单来说，HDFS集群关注数据的存储，而YARN集群则关注资源的管理和调度，两者在Hadoop集群中协同工作，以实现大规模数据的高效存储和处理。

HDFS集群是Hadoop集群的一部分。Hadoop集群主要由HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）和YARN（Yet Another Resource Negotiator，另一种资源协调者）两大组件构成。

因此，可以说HDFS集群是Hadoop集群的一个重要组成部分，它与其他组件（如YARN）共同协作，构成了完整的Hadoop集群，用于处理大规模数据集。

四、推荐以hadoop身份控制集群

在Hadoop集群中，以root身份直接控制集群通常是不推荐的。

Hadoop的官方文档和社区最佳实践都建议避免使用root用户来启动、配置或管理Hadoop集群。

原因主要有以下几点：

安全风险：root用户拥有系统的最高权限，如果Hadoop进程以root用户身份运行，那么任何潜在的安全漏洞或错误都可能导致严重的系统损害。
资源隔离问题：Hadoop集群需要良好的资源隔离以确保稳定性和性能。使用root用户可能会破坏这种隔离，使得不同的Hadoop服务之间或与其他系统服务之间产生不必要的冲突。
管理复杂性：在大型或复杂的集群环境中，使用root用户进行管理会增加管理的复杂性。这包括权限管理、错误排查和系统维护等方面。

相反，Hadoop推荐的做法是创建一个专门的Hadoop用户（例如，名为hadoop的用户），并使用该用户来启动、配置和管理Hadoop集群。这个专门的用户应该具有足够的权限来执行必要的操作，但又不会拥有过多的权限，从而降低了安全风险。

如果你确实需要以某种方式控制集群（例如，进行配置更改或管理任务），那么最好是以这个专门的Hadoop用户的身份来进行，而不是使用root用户。这样，你可以确保集群的安全性和稳定性，同时降低管理复杂度。

此外，对于权限管理，Hadoop提供了丰富的配置选项，允许你精确地控制哪些用户可以执行哪些操作。你可以通过配置HDFS和YARN的权限设置来实现这一点，确保只有经过授权的用户才能访问和管理集群资源。