hadoop之mapreduce详解

今天,本姑娘和大家聊一聊mapreduce。吐血整理,各位小板凳坐好啊。如有写错的话,也请多多指正。
在这里插入图片描述

首先我们了解一下什么是MapReduce。主要是由两个阶段组成。Map和Reduce。用户只需要编写map()和reduce()两个函数。即可完成简单分布式程序计算。

流程介绍:

在这里插入图片描述

①②③InputFormat

InputFormat接口决定了输入文件如何被Hadoop分块。InputFormat能够从一个job中得到split集合。然后再为这个split提供一个何时的RecordReader(getRecordReader)来读取每个split中的数据。

public abstract class InputFormat<K, V> {
   
    public InputFormat() {
   
    }

    public abstract List<
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值