Map/Reduce 入门

在这里插入图片描述
这是map/reduce的数据封装类,在mapreduce中原有的java类型是在数据传输中不能使用 ,需要使用其封装类

在这里插入图片描述

初步了解MapReduce,我们要知道它的工作原理,
首先,MapReduce在Hadoop中是负责计算的单元,HDFS是存储单元,那么MapReduce就是计算HDFS上的数据,提取数据的价值。
MapReduce分为两个

从磁盘读取
Map 负责拆分数据
数据现在Map中进行一个数据清洗,将垃圾数据清除掉,
然后在做一次简单的处理,减轻Reduce的计算压力
再把相同的数据放在一起放到磁盘
Map首先将一块数据拿进来,进行拆分,拆分的大小因情况而定,可以每份都不同(按行拆分)
分为几个单元进行计算,分类,每个单元处理一份,将一份进行排序等操作。
最后将所有单元处理好的每份的按照分类合成一个整体,
最后将每种类型发送到不同的Reduce做处理

Reduce负责合并数据
Reduce来计算合并数据,将Map所分类的不同类型数据会有不同的Rdeuce进行处理,
最后将处理好的所有数据进行一次大的处理(排序),
输出完整的数据

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值