简述hadoop技术栈的组成?

hadoop由HDFS、Mapreduce、YARN三大组件组成。

HDFS:
HDFS是分布式文件存储系统,负责海量数据的存储。
 元数据是描述核心数据的数据。
 NameNode是集群的主节点,用于管理集群中的各种数据。
 SecondaryNameNode主要用于辅助NameNode进行文件块元数据存储。
 DataNode是集群中的从节点,用于存储集群中的海量数据。

Mapreduce:
Mapreduce是分布式运算编程框架,用于海量数据计算。
核心思想是分而治之,map负责分解,reduce负责合并。
Mapreduce计算需要的数据和产生的结果需要HDFS来进行存储,同时Mapreduce的运行需要YARN集群来提供资源调度。

Yarn:
Yarn是资源调度和集群资源管理的框架,用于资源任务调度。
ResourceManager是接收用户的计算请求任务,负责集群的资源管理和分配。
NodeManager是负责执行主节点分配的任务,给MapReduce计算程序提供资源。

  • 10
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值