MapReduce
文章平均质量分 89
meiLin_Ya
huhu欢迎大家一起来交流
展开
-
MapReduce(五)
MapReduce的(五)MapReduce的多表关联查询数据:ctoryname addressedBeijing Red Star 1Shenzhen Thunder 3Guangzhou Honda 2Beijing Rising 1Guangzhou Development Bank 2Tencent 3...原创 2018-06-29 11:09:33 · 315 阅读 · 0 评论 -
彻底理解MapReduce shuffle过程原理
彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程?我们都知道MapReduce计算模型一般包括两个...转载 2018-06-28 16:59:38 · 990 阅读 · 1 评论 -
MapReduce(四)
MapReduce(四) 1.shuffle过程 https://blog.csdn.net/techchan/article/details/53405519 2.map中setup,map,cleanup的作用。一.shuffle过程二.map中setup,map,cleanup的作用。...原创 2018-06-28 16:24:42 · 219 阅读 · 0 评论 -
MapReduce(三)
MapReduce(三)MapReduce(三): 1.关于倒叙排序前10名 1)TreeMap根据key排序 2)TreeSet排序,传入一个对象,排序按照类中的compareTo方法排序 2.写一个MapReduce的模板 3.MapReduce的分区 ...原创 2018-06-27 11:56:49 · 268 阅读 · 0 评论 -
MapRedcue的demo(协同过滤)
MapRedcue的演示(协同过滤)做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。...原创 2018-07-02 15:18:18 · 332 阅读 · 0 评论 -
MapReduce- 数据的排序处理
MapReduce- 数据的排序处理package com.huhu.day02;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;...原创 2018-06-26 20:19:24 · 296 阅读 · 0 评论 -
MapReduce(二)
MapReduce(二)mapreduce 将Text转化为对象进行处理数据。根据一来说,将date,classname,name,subject,score变为对象属性我的数据是:是有重复的。package com.huhu.day02;import java.io.DataInput;import j...原创 2018-06-26 19:31:01 · 176 阅读 · 0 评论 -
MapReduce--平均分,最高,低分以及及格率的计算
MapReduce--平均分,最高,低分以及及格率的计算计算班级的平均分,以及个人的最高最低分,以及每个班级的及格率。来先看一下我的数据。时间 班级 姓名 科目 成绩20180501 1708a1 li bishi 8020180501 1708a1 li jishi 5520180501 1708a...原创 2018-06-26 14:23:19 · 3400 阅读 · 1 评论 -
MapReduce(一)
MapReduce(一)百度百科: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序...原创 2018-06-25 21:21:42 · 304 阅读 · 0 评论 -
MapRdeuce&Yarn的工作机制(YarnChild是什么)
YarnChild是什么一幅图解决你所有的困惑解说下:原创 2018-07-06 08:39:51 · 4832 阅读 · 1 评论