超级会员免费看
本文介绍了Hadoop的基本概念、架构以及主要组件，包括HDFS、MapReduce和YARN。Hadoop是一个用于处理和存储大规模数据的开源框架，采用主从结构，由NameNode、DataNode、ResourceManager和NodeManager等守护进程管理。MapReduce是其计算框架，YARN负责资源管理和调度。
什么是Hadoop
Hadoop 是使用 Java 编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache 的开源框架。 Hadoop 框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop 是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。
Hadoop 可以用单节点模式安装，但是只有多节点集群才能发挥 Hadoop 的优势，我们可以把集群扩展到上千个节点，而且扩展过程中不需要先停掉集群。
Hadoop 由三个关键部分组成：
HDFS：Hadoop 分布式文件系统，它是 Hadoop 数据存储层。
MapReduce：数据计算框架
YARN：负责资源管理和任务调度。
Hadoop 架构
在了解了什么是 Hadoop 之后，再来详细了解一下 Hadoop 的架构。
Hadoop 以主从的方式工作。一个 Master 节点和多个 Slave 节点，slave
订阅专栏 解锁全文
扫一扫
684
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
