MapReduce

本文探讨了MapReduce中的键值数据特征,强调键的唯一性、值与键的关系,以及map和reduce方法如何处理键值对,如通过shuffle合并键值并进行变换。
摘要由CSDN通过智能技术生成

map中键/值数据的重要特征

1.键必须是唯一的,而值并不一定是唯一的

2.每个值必须与键相关联,但键可能没有值(虽然在这个特定的例子中,没有出现这种情况)

3.对键值进行明确定义非常重要。它决定了计数是否分区大小写,这将产生不同的结果

MapReduce的系列键/值变换

{k1,v1}  ->   {k2,List<v2>}  ->  {k3,v3}

1.MapReduce作业的map方法的输入是一系列键值对,称之为K1和v1

2.map方法的输出(今后作为reduce方法的输入)是一系列键以及与之关联的值列表,称之为k2和v2。需要注意的是,每个mapper仅仅输出一些列单个的键值对,他们通过shuffle方法组合成键与值列表。

3.MapReduce作业的最终输出是另一串键值对,称之为k3和v3

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值