MapReduce
Blusedeng11
这个作者很懒,什么都没留下…
展开
-
MapJoin与ReduceJoin实例
产品表:订单表:需求:通过产品表和订单表得到,数据为(2019 01 小米 1)的表。一、MapJoinMapJoin适合小表+大表的联合。1、Map类直接进行join操作package com.join.mapjoin;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWri...原创 2019-06-20 23:57:31 · 386 阅读 · 0 评论 -
MapReduce求最大值最小值平均值案例
一、问题描述学校的学生的是一个非常大的生成数据的集体,比如每次考试的成绩。现有一个班级的学生一个月的考试成绩数据。科目 姓名 分数求出每个学生的最高分,平均成绩(整数(不能使用强制类型转换)),最低分。二、思路介绍在map阶段将学生姓名作为key,成绩作为value输出;在reduce阶段进行最大值最小值平均值得求值。三、代码实现1、Map阶段package com.stude...原创 2019-06-22 17:07:06 · 5395 阅读 · 0 评论 -
MapReduce学生成绩分类案例
一、问题描述学校的学生的是一个非常大的生成数据的集体,比如每次考试的成绩,现有一个班级的学生一个月的考试成绩数据。科目 姓名 分数求出每门成绩中属于甲级的学生人数和总人数,乙级的学生人数和总人数,丙级的学生人数和总人数。甲级(90及以上)乙级(80到89)丙级(0到79)处理数据结果:课程\t甲级\t学生1,学生2,…\t总人数二、思路介绍map阶段将课程名和等级拼接为key,...原创 2019-06-22 17:44:57 · 1514 阅读 · 2 评论