Hadoop集群的搭建使用与HDFS集群的架构介绍

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

➢ HDFS集群 NameNode、DataNode、SecondaryNameNode

➢ YARN集群 ResourceManager、NodeManager`

集群一键启动和关闭

• 一键启动大数据环境
/onekey/my-stop-all.sh
• 一键关闭大数据环境
/onekey/my-start-all.sh

查看启动进程-jps

[root@node1 bin]# jps
2976 RunJar
2881 JobHistoryServer
2692 NodeManager
2262 DataNode
2583 ResourceManager
2123 NameNode
2413 SecondaryNameNode
13726 Jps
2975 RunJar

HDFS 集群架构介绍：

HDFS 架构主要由 NameNode 和 DataNode 两部分组成：

NameNode：NameNode 是 HDFS 的主节点，负责管理文件系统的命名空间，维护文件系统的元数据信息，包括文件目录结构、文件属性以及文件与数据块之间的映射关系。NameNode 还负责协调客户端的读写请求，并控制数据块的复制和移动。

DataNode：DataNode 是 HDFS 的数据节点，负责存储实际的数据块。每个数据节点都会定期向 NameNode 报告自己所存储的数据块信息，并根据 NameNode 的指示执行数据块的复制、删除和移动等操作。

在 HDFS 集群中，通常会有一个 NameNode 和多个 DataNode 组成，数据节点分布在不同的物理机器上，以实现数据的分布式存储和高可靠性。通过复制数据块到多个数据节点上，HDFS 实现了数据的冗余备份，提高了数据的可靠性和容错性。

HDFS的副本机制