![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 87
好的!文西
在校研究生
展开
-
Hadoop学习日记-YARN组件
YARN(Yet Another Resource Negotiator)作为一种新的Hadoop资源管理器,是另一种资源协调者。YARN是一个通用的资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度YARN架构图。原创 2023-07-28 10:12:06 · 1410 阅读 · 0 评论 -
Hadoop学习日记-MapReduce思想及执行流程
MapReduce思想:Map负责“拆分”:即将复杂问题拆分成可以并行计算的小问题,彼此之间几乎没有依赖联系,Reduce负责对Map阶段的结果进行合并汇总。原创 2023-07-26 10:32:37 · 207 阅读 · 0 评论 -
Hadoop学习日记-HDFS分布式文件存储系统整体概述
简单的HDFS系统包括机架 rack1、rack2 包括5个Datanode,一个Namenode(主角色)带领5个Datanode(从角色),每一个rack中包含不同的block模块文件为分块存储模式。块与块之间通过replication进行副本备份,进行冗余存储,Namenode对存储的元数据进行记录。原创 2023-07-19 11:41:15 · 899 阅读 · 0 评论