【大数据】学习笔记（二）MapReduce

最新推荐文章于 2023-07-30 23:21:35 发布
最新推荐文章于 2023-07-30 23:21:35 发布
阅读量84 收藏
点赞数
分类专栏： 【了解下大数据】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45292794/article/details/118634532
版权

目录

1 MapReduce 简介

在这里插入图片描述
在这里插入图片描述

2 MapReduce 设计构想

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 MapReduce 框架结构

在这里插入图片描述
在这里插入图片描述

4 MapReduce 编程规范

在这里插入图片描述

  • map
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • reduce

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • job

在这里插入图片描述
在这里插入图片描述

5 MapReduce 细节信息
5.1 MapReduce 的输入输出

在这里插入图片描述
在这里插入图片描述

5.2 MapReduce 的数据分区

在这里插入图片描述

5.3 Mapper执行任务流程

在这里插入图片描述

5.4 Reducer执行任务流程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.5 Reducer的序列化

在这里插入图片描述
在这里插入图片描述

张林克
关注
专栏目录
大数据讲课笔记5.2 MapReduce工作原理
howard2005的专栏
10-09 456
1. 了解MapReduce工作过程； 2. 理解MapTask与ReduceTask工作原理； 3. 理解Shuffle工作原理
大数据讲课笔记5.3 MapReduce编程组件
howard2005的专栏
10-09 623
1. 掌握InputFormat组件和OutputFormat组件； 2. 掌握Mapper组件和Reducer组件； 3. 掌握Partitioner组件和Combiner组件
大数据学习笔记-MapReduce（一） 入门基础理论
zhang_232的专栏
11-29 987
MapReduce是Hadoop中生态圈重要组件，目前该组件随退到二线，但是其思想依然是很多框架的来源
大数据学习笔记-MapReduce（二） 深度
zhang_232的专栏
01-02 472
深度了解MapReduce运行流程，通过案例全面了解MR运行过程、涉及的组件、设计的思想。对MapReduce Partition、 Mapreduce Combiner、MapReduce编程技巧掌握，对自定义对象、序列化、排序、分区、分组的实现熟练掌握，掌握MapReduce并行度机制、工作流程和shuffle的机制。
大数据学习笔记之MapReduce
qi49125的博客
06-07 690
一、神马是高大上的MapReduce 　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
weixin_45735391的博客
07-30 4313
MapReduce配置和YARN部署以及基本命令
[大数据学习笔记]MapReduce和Yarn基本介绍
yangyi_33855的专栏
12-04 143
MapReduce是什么？有什么特点？ MapReduce是基于Google发布的MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算， Cluster Infrastructure、Software Framework、Programming Model & Methodology）。 特点如下： 易于编程：程序员仅需要描述做什么，具体怎么做交由系统的执行框架...
大数据学习笔记(MapReduce简介)
smy12138的博客
10-18 325
什么是MapReduce Hadoop MapReduce是一个易于编写应用程序的软件框架，该应用程序以一种可靠的、容错的方式，在大型硬件集群(数千个节点)上并行处理大量数据(多TB数据集)。 MapReduce的设计理念 MR主要思想就是： 分久必合 MR的核心思想： “相同”的key为一组，调用yicireduce方法，方法内迭代这一组数据进行计算 MR由两个阶段组成： map端 redu...
大数据学习笔记之MapReduce作业执行流程
Zero_dot_degree的博客
09-09 1409
MapReduce作业执行流程大致可分为以下几步：①提交作业，②初始化作业，③分配任务，④执行作业，⑤更新进度和状态，⑥完成。又或者可划分为：①输入分片（input  split），②Map阶段，③combiner阶段，④shuffle阶段，⑤reduce阶段。   提交作业 主要有几个步骤： ①调用JobTracker的getNewJobId（）方法，获取作业ID。 ②检查作业相关路径...
大数据学习笔记
smilinggg的博客
02-23 833
大数据学习笔记一.概念二 .批处理与流处理1.批处理2.流处理三.批处理软件1.Hadoop 一.概念 大数据（Big Data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 四个主要特征： Volume（数据量） 数据量大是大数据的比较明显的特征，一般是TB级的数据量，并且每天数据的增长量比较大。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/202
大数据学习笔记汇总指南
03-28
这份“大数据学习笔记汇总指南”涵盖了大数据技术栈中的关键组件，包括Hadoop、Hive、Spark、Storm、Flink以及HBase。让我们逐一深入探讨这些技术及其在大数据生态系统中的作用。 一、Hadoop Hadoop是Apache基金会...
大数据学习笔记.docx
11-09
本笔记将深入探讨大数据的基本概念，包括Hadoop、Hive、离线计算、实时计算、数据库、数据仓库、维度建模以及大规模并行处理MPP，还将介绍阿里云的一些大数据产品，如MaxCompute、DataWorks、数据集成、机器学习PAI...
大数据学习笔记.zip
08-23
大数据学习笔记.zip是一个压缩包，其中包含了关于大数据技术的学习资料，特别是聚焦于Hadoop、HBase、Kafka和Flume这四个重要组件。这些技术都是大数据处理和分析领域中的核心工具，广泛应用于海量数据的存储、实时...
微信小程序Artandw_eapp-artand.zip
10-04
微信小程序Artandw_eapp-artand
基于Vue和JavaScript的心旅途个性化推荐旅游平台设计源码
10-04
本项目是一款基于Vue和JavaScript开发的心旅途个性化推荐旅游平台设计源码，整合了513个Java文件、76个PNG图片、70个XML配置文件、62个JavaScript文件、42个Vue组件文件、28个CSS样式文件、22个HTML文件、18个YAML配置文件、16个属性文件、11个Vue模板文件，总计919个文件。平台采用现代化前端技术堆栈，旨在为用户提供个性化的旅游推荐服务。
微信小程序开发地图演示、地图导航、标记标注_echat-weapp-mpdemo.zip
10-04
微信小程序开发地图演示、地图导航、标记标注_echat-weapp-mpdemo
Vue和Axios文件
最新发布
10-04
Vue和Axios文件
基于Python的HTML与任务清单关系系统设计源码
10-04
该项目为基于Python语言开发的HTML与任务清单关系系统，包含50个文件，其中16个为HTML文件，14个为Python源代码文件，其余包括Python编译文件、Markdown文件、图片、数据库文件、配置文件、模板文件、文本文件等，旨在为用户提供简单便捷的生活时间段安排及任务规划管理工具。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值