Hadoop1.x、2.x、3.x区别

最新推荐文章于 2024-05-29 10:56:15 发布

DH、85

最新推荐文章于 2024-05-29 10:56:15 发布

阅读量422

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/weixin_61518174/article/details/125503384

版权

本文详细介绍了Hadoop 从1.x到3.x版本的主要区别，涵盖了HDFS、YARN和MapReduce的关系。在内容中，还讲述了大数据技术生态体系，并分享了一步一步搭建Hadoop集群的过程，包括虚拟机配置、软件安装、配置文件修改以及集群启动的注意事项。

摘要由CSDN通过智能技术生成

HDFS 架构概述

Hadoop Distributed File System ，简称 HDFS ，是一个分布式文件系统。

1 ） NameNode （ nn ）：存储文件的 元数据 ，如 文件名，文件目录结构，文件属性 （生成时间、副本数、

文件权限），以及每个文件的 块列表 和 块所在

2 ） DataNode(dn) ：在本地文件系统 存储文件块数据 ，以及 块数据的校验和 。

3 ） Secondary NameNode(2nn) ： 每隔一段时间对 NameNode 元数据备份 。

YARN 架构概述、

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

1 ） ResourceManager （ RM ）：整个集群资源（内存、 CPU 等）的老大

3 ） ApplicationMaster （ AM ）：单个任务运行的老大

2 ） NodeManager （ N M ）：单个节点服务器资源老大

4 ） Container ：容器，相当一台独立的服务器，里面封装了

任务运行所需要的资源，