本文介绍了Hadoop的组成，包括HDFS、Yarn和MapReduce的架构。详细讲解了NameNode、DataNode、Secondary NameNode在HDFS中的角色，以及Yarn中的ResourceManager、NodeManager、ApplicationMaster和Container。此外，还列举了Hadoop集群常用的端口号。
Hadoop
1.Hadoop的组成
-
Hadoop 1.x组成
MapReduce（计算+资源调度）
HDFS（数据存储）
Common（辅助工具）
-
Hadoop 2.x
MapReduce（计算）
Yarn（资源调度）
HDFS（数据存储）
Common（辅助工具）
1.HDFS架构
-
NameNode
存储元数据。如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）以及每个文件的块列表和所在DataNode地址等。
-
DataNode
每台集群中物理服务器（即单个节点）本地存储的文件块数据，以及块数据的校验和
-
Secondary NameNode
定时对NameNode元数据备份
2.Yarn架构
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t0GVXIBj-1626603487916)(C:\Users\Jzs\AppData\Roaming\Typora\typora-user-images\image-
最低0.47元/天 解锁文章
546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
