![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce基础
文章平均质量分 88
MapReduce基础
愿你被这个世界温暖相待
这个作者很懒,什么都没留下…
展开
-
MapReduce学习4-3:分组
1 默认分组比较器在Shufflle阶段输入到reduce阶段之前,会进行分组分组就是同一个key就会进入同一个reduce方法中,并且这些同一个key的所有的值将会存储在一个迭代器values之中,也就是reduce方法的第二个参数既然同一个key会进入到同一个比较器之中,那么判断同一个key就会涉及到比较,也就是分组比较 protected void reduce(Text key, Iterable<IntWritable> values, Context context) th.原创 2022-01-02 20:37:14 · 1364 阅读 · 0 评论 -
MapReduce学习4-2:Combiner解析与实例
1 基本概念2 Combiner发生时机3 Combiner作用4 自定义Combiner实现wordcount案例5 结果1 基本概念Combiner是MapReuce程序中Mapper和Reducer之外的一种组件Combiner组件的父类就是Reducer,因而自定义Combiner需要继承ReducerCombiner的意义就是对每一个MapTask的输出进行局部汇总,以减小网络传输量Combine能够应用的前提是不能影响最终的业务逻辑,而且,Combiner的输出kv应该跟Reduc.原创 2022-01-01 19:22:04 · 1110 阅读 · 0 评论 -
MapReduce学习4-1:排序
1 排序分类2 相关接口3 比较器的自定义与配置3.1 Text类的自定义比较器3.2 比较器获取与配置在MapRedece的Shuffle过程中存在排序,例如溢出前的快速排序、磁盘上的归并排序,该过程是自动进行的。无论reduceTask还是mapTask默认是按字典顺序排序,并且默认是对key的字典顺序排序。Shuffle相关可以参考:MapReduce学习4:框架原理详解排序的关键在于比较。以下详细介绍1 排序分类部分排序:MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内.原创 2022-01-01 14:27:27 · 2047 阅读 · 0 评论 -
MapReduce学习4:框架原理详解
1 MapReduce流程2 InputFormat数据输入2.1 数据切片和数据块概念2.2 数据切片和MapTask并行度决定机制2.3 数据块与数据切片的关系1 MapReduce流程上述就是一个MapReduce处理数据的流程:经由:数据输入→map阶段→Shuffle阶段→数据输出。以下将根据这整个流程解析MapReduce的框架原理2 InputFormat数据输入2.1 数据切片和数据块概念数据块:Block是HDFS物理上把数据分成一块一块数据切片:数据切片只是在逻辑上对输.原创 2021-12-23 20:37:11 · 1349 阅读 · 0 评论 -
MapReduce学习3:序列化
1 序列化概述1.1 什么是序列化和反序列化1.2 为什么要序列化1.3 为什么不用java序列化1.4 hadoop序列化特点2 实现hadoop的Writable接口2.1 hadoop的基本序列化类型2.2 接口实现基本步骤3 序列化案例实操1 序列化概述1.1 什么是序列化和反序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象1.2 为什.原创 2021-12-20 13:36:50 · 1381 阅读 · 0 评论 -
MapReduce学习2-2:Mapper类和Reducer类简易解析
1 Mapper类解析2 Reducer类解析-创建一个MapReduce程序实际是一个插件开发的过程,它通过继承Mapper类和Reducer类实现Map过程和Reduce过程接下来,在MapReduce学习2-1:以官方wordcount实例为例的MapReduce程序学习中进行了一个简易的MapReduce程序的编写,本文就解析Mapper类和Reducer类进一步分析1 Mapper类解析package org.apache.hadoop.mapreduce;import java..原创 2021-12-18 15:58:24 · 1244 阅读 · 0 评论 -
MapReduce学习2-1:以官方wordcount实例为例的MapReduce程序学习
1 实例演示与源码jar包反编译1.1 wordcount实例运行测试1.2 jar包反编译2 hadoop的序列化类型2.1 hadoop序列化类型解析2.1 hadoop序列化类型解析常用序列化类型及其与Java类型的比较3 编程规范与阶段解析3.1 插件开发过程概述3.2 Mapper阶段3.3 Reducer阶段3.4 Driver阶段4 案例实操4.1 输入4.2 WordcountMapper类编写4.3 WordcountReducer类编写4.4 WordcountDriver类编写4.5.原创 2021-12-18 15:18:46 · 2447 阅读 · 0 评论 -
MapReduce学习1:MapReduce基本概念
1 MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 MapReduce优缺点1.2.2 MapReduce的缺点3 MapReduce核心思想4 MapReduce进程1 MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoo.原创 2021-12-16 21:17:19 · 925 阅读 · 0 评论