Hadoop--09---MapReduce_04----MapReduce工作流程、Shuffle 机制、Partition 分区

已于 2023-12-24 16:01:58 修改
阅读量103 收藏
点赞数
分类专栏： 大数据Hadoop 文章标签： mapreduce hadoop big data
于 2022-06-04 15:27:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48052161/article/details/125107873
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

MapReduce 工作流程

1. 工作流程简介在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. Shuffle 机制

Map 方法之后，Reduce 方法之前的数据处理过程称之为Shuffle。

在这里插入图片描述

3. Partition 分区

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.WritableComparable 排序

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

MapReduce 工作机制

1. MapTask 工作机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.ReduceTask 工作机制

在这里插入图片描述
在这里插入图片描述

3.MapReduce开发总结

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

知行合一。。。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
01-02MapReduce深入
10-26
Shuffle是MapReduce框架的一个组件，负责对Mapper的输出结果进行partition，排序和合并。Shuffle的主要任务是将Mapper的输出结果进行处理，以便于后续的处理。 Partitioner Partitioner是Shuffle阶段的一个组件，...
MapReduce Shuffle机制及其Partition分区
mengxianglong123的博客
08-06 450
一、Shuffle机制 Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。 二、Partition分区 1、问题引出 要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区) 2、默认Partitioner分区 默认分区是根据key的hashCode对Reduce Tasks个数取模得到的。用户没法控制哪个key存储到哪个分区。 3、自定义Partitioner步骤 (1) 自定义类继承Partitioner, 重写get
云计算-基于云计算技术的化合物相似性分析系统.pdf
07-02
此外，本文还研究了Hadoop的Partition算法可能存在的数据倾斜的问题，提出了一个均勾的轮询分区算法，减少了数据倾斜带来的影响，实验证明该算法可以使整个系统的效率提高5%以上。 本文研究了云计算技术在化合物...
大厂真题之唯品会-Java大数据开发工程师.pdf
01-27
以上知识点涵盖了 Kafka 消息结构、Kafka 消费者获取 offset 的方式、Hadoop MapReduce 中的 Shuffle 流程、Spark 集群部署模式以及 HDFS 的读写操作。这些内容是 Java 大数据开发工程师需要掌握的基础知识，尤其在...
精品专题（2021-2022年收藏）spark的优化控制数据分区和分布.doc
10-02
Spark是Apache Hadoop生态系统中的一个快速、通用且可扩展的数据处理框架。它的设计目标是提供一个简单、高级的编程模型，使得数据处理更加方便高效。Spark的核心组件是弹性分布式数据集（RDD），这是一种不可变、...
2021Java大厂面试题——大厂真题之唯品会-Java大数据开发工程师.pdf
01-29
Hadoop MapReduce框架中的Shuffle过程是连接Map任务和Reduce任务的关键步骤，主要包括两个阶段：Map端的Shuffle和Reduce端的Shuffle。 - **Map端的Shuffle**: - 处理输入数据并生成中间结果，写入本地磁盘而非HDFS...
大数据 -- 01-- 简介、环境搭建
时光里的博客
11-19 2589
大数据 简单来说大数据就是海量数据及其处理方式. 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中 大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。 大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多
Hive--11---函数-----split() 、lateral view 、explode() 、posexplode()
时光里的博客
05-08 1635
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录lateral view 、explode lateral view 、explode https://blog.csdn.net/weixin_43230682/article/details/108096441 https://blog.csdn.net/xuehuagongzi000/article/details/121497949 https://blog.csdn.net/qq_41489540/article/de.
大数据 -- 04-- Hive
时光里的博客
11-24 449
Hive Hadoop在分布式数据处理中遇到的问题 MR开发调试复杂，不适合要求快速得出结果的场景。 Hadoop由Java开发，对JAVA支持最好，对其他语言的使用者不够友好。 需要对Hadoop底层具有一定的了解，并且熟悉API才能开发出优秀的MR程序。 概述 Hive是一个建立在Hadoop基础之上的数据仓库工具，以HiveQL（类SQL）的操作方式让我们能够轻松的实现分布式的海量离线数据处理。而不必去编写调试繁琐的MR程序。 优点： 避免了MR繁琐的开发调试过程，Hive自动将我们输入的HQ
大数据 -- 05-- Kafka
时光里的博客
11-26 314
Kafka Kafka简介 他是一个MQ，作用：削峰平谷 ActiveQM（6k）、RabbitMQ(1.2w) 适用与业务系统（对事务要求极高） ZeroMQ(25-50w)、Kafka(25-50w) 适用于大数据（对速度和吞吐量要求高，海量数据中，数据可能丢失，但对结果影响微乎其微） Kafka为发布/订阅模式。 Kafka已经成为大数据业界主流。 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录
Hive--12---文件存储格式
时光里的博客
06-25 309
1
Hive--10---函数----自定义函数 (UDF-UDAF-UDTF)
时光里的博客
06-25 306
`
大数据 -- 06-- Flink
时光里的博客
11-26 295
Flink Flink简介 Apache Flink是一个框架和分布式处理引擎， 用于对无界和有界数据流进行有状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 先来看一下Flink与同类产品的对比. Flink详解 Flink的组成 JobManager：协调分布式执行。他们安排任务，协调检查点，协调故障恢复等。 总是至少有一个工作经理。高可用性设置将有多个JobManager，其中一个始终是领导者，而其他则是待机者。 TaskManagers：执行任务（或
Hive--14---企业级调优2----表的优化
时光里的博客
06-29 256
1
Hadoop--01---大数据概论、Hadoop 概述
时光里的博客
05-15 243
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录大数据概论1.大数据概念2.大数据特点3.大数据应用场景4.大数据部门间业务流程分析5.大数据部门内组织结构Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 发展历史（了解）1.3 Hadoop 三大发行版本（了解）1.4 ==Hadoop 优势==（4 高）1.5 Hadoop 组成（面试重点）在Hadoop2.x时代，增加了Yarn。==Yarn只负责资源的调度==， 大数据概论 1.大数据概念 2.大.
Hadoop--02---HDFS、YARN、MapReduce 概述
时光里的博客
05-15 240
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录HDFS、YARN、MapReduce 概述1.HDFS架构概述Hadoop Distributed File System，简称HDFS，是一个==分布式文件系统==。2.YARN 架构概述Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop 的==资源管理器==。3.MapReduce 架构概述MapReduce 将计算过程分为两个阶段：Map 和Reduce1）Ma.
Hive--09---函数----窗口函数
时光里的博客
06-25 236
1
Hadoop--03---HDFS_01----概述
时光里的博客
05-18 236
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录HDFS 概述1. HDFS 产出背景及定义HDFS（Hadoop Distributed File System），==分布式文件系统== HDFS 概述 1. HDFS 产出背景及定义 HDFS（Hadoop Distributed File System），分布式文件系统 ...
大数据 -- 02-- Hadoop
时光里的博客
11-22 222
Hadoop概述 Hadoop是大数据领域中非常重要的基础技术，他是一个海量数据存储、处理系统，也是一个生态圈（HDFS，MapReduce，Hive，Hbase等） 历史 Google：搜索引擎。收集互联网上的所有数据，存储数据，处理数据，提供给用户。 Google搜索引擎相关技术非常成熟，但是并没有开源，不过，在2004年先后发表了两篇论文：《Google File System》（GFS）、《MapReduce》阐述了Google如何将海量数据进行存储和处理。2006年发表了《BigTable》启发了
Java大数据面试深度解析：Kafka与Hadoop Shuffle详解
其次，我们讨论Hadoop的shuffle过程，这是MapReduce模型中的关键步骤。Map端的shuffle涉及到数据的处理和排序。Map任务处理输入数据生成中间结果，并将其暂存于内存缓冲区。当缓冲区满时，数据会被溢写到磁盘，形成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值