mapreduce介绍

数据在哪,就在哪里计算(快)
mapreduce框架仅在<key,value>对上操作,也就是说,该框架将作业的输入作为一对<key,value>值,并生成一对<key,value>值作为其输出
hadoop中text(2G容量)=String,基本类型后+Writeable, .get()转基本类型,.set()基本类型转**Writeable
mapreduce 擅长统计,排名
一个块对应一个map来计算,每个块都有一个1.1的超额配置,当文件的最后一个块没超过本块的1.1比例时,不会多用一个块将其放入(因为会多调用一个map),而是将其放入最后一个块中。
map中的k2,v2 是具体数据和1;reduce中的k2,v2是具体数据和数组(k2与map一样,但却去重。v2是把所有map的v2都放在一个数组里)
reduce的k3,v3(k3与k2一致,v3是把v2做统计求和)
补:何为序列化?
将内存中的数据持久化保存在磁盘上,将磁盘上的数据放在内存上运行

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值