Hadoop 概述

Hadoop是一个开源的分布式系统基础架构,专注于海量数据的存储和分析。它包括HDFS,用于分布式文件系统的存储,以及YARN,作为资源管理器协调计算。MapReduce是Hadoop中的计算模型,分为Map和Reduce两个阶段,分别对应数据的并行处理和结果汇总。
摘要由CSDN通过智能技术生成

1. Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

2. Hadoop组成(面试重点)

2.1 HDFS 概述

 Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

2.2 YARN 概述

 Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。

MapReduce 架构概述

2.3  MapReduce 架构概述

MapReduce 将计算过程分为两个阶段:Map 和 Reduce

1)Map 阶段并行处理输入数据

2)Reduce 阶段对 Map 结果进行汇总

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值