![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
文章平均质量分 81
jin6872115
这个作者很懒,什么都没留下…
展开
-
MapReduce案例1——求学生成绩普通版
使用MapReduce求学生成绩:基础版computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangj...原创 2018-03-16 19:59:08 · 1932 阅读 · 2 评论 -
MapReduce案例11——影评分析6/7(特定类型电影topN)
题目:现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (199...原创 2018-03-18 21:44:52 · 1440 阅读 · 0 评论 -
MapReduce案例11——影评分析5(求特定年份最好看的10部电影)
题目:现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (199...原创 2018-03-18 20:15:56 · 1844 阅读 · 0 评论 -
MapReduce案例11——影评分析4(分析某个用户的评分与大众评分的差别)
题目:现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (199...原创 2018-03-18 17:12:36 · 1672 阅读 · 0 评论 -
MapReduce案例11——影评分析3(特定电影不同年龄段平均评分)
题目:现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (199...原创 2018-03-18 12:48:30 · 2105 阅读 · 1 评论 -
MapReduce案例11——影评分析2(三表联合查询)
题目要求:(MapReduce案例11——影评分析1)为基础现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies....原创 2018-03-18 11:51:45 · 3021 阅读 · 0 评论 -
MapReduce案例11——影评分析1(两表联合查询)
多表联合常用方式有两种:reduceJoin和mapjoin,其中reducejoin容易造成数据倾斜,对于并发执行的数据文件来说,常用mapjoin,在mapper阶段就完成数据连接,一般不会造成数据倾斜,即使倾斜,数据量也会很小。使用条件,一张数据量很大的表和一张数据量很小的表,将数据量小的表提前加载到各个节点的内存中去,在执行map阶段,通过内连接完成组合。题目:现有如此三份数据:1、us...原创 2018-03-17 23:24:05 · 1284 阅读 · 7 评论 -
MapReduce案例10——多数据文件依赖计算
题目:描述:求所有数对应位置的叠加和 比如 0001.txt 文件有数据: 1 2 3 4 5 .....0002.txt 文件有数据: 10 10 10 10 10 返回结果是: 1 1 2 3 3 6 4 10 5 15 ..... 10 25 ...原创 2018-03-21 23:04:32 · 374 阅读 · 1 评论 -
MapReduce案例9——多个数字文件的数据排序并添加序号(添加可并行方法)
题目:数字排序并加序号源数据:2326543215756652235956226509226546最张结果:1 22 63 154 225 266 327 328 549 9210 65011 65412 75613 595614 65223一定要考虑 当数据量一大的时候, 你的实现思路能否使用。解题思路:当有多...原创 2018-03-17 13:07:35 · 3296 阅读 · 3 评论 -
MapReduce案例8——求最频繁访问数据表以及最频繁访问的用户和时长
题目:user1 1:00 u1 1.5user2 2:00 u2 0.5user3 3:00 u3 0.1user4 4:00 u1 1.4user5 5:00 u4 1.3user6 6:00 u4 1.9user7 7:00 u5 2.4user8 8:00 u1 0.1user9 9:00 u6 0.6user10 10:00 u1 0.5user11 1:00 u2 ...原创 2018-03-17 11:46:28 · 1097 阅读 · 0 评论 -
MapReduce案例7——求版本信息变动
题目:20170308,黄渤,光环斗地主,8,360手机助手,0.1版本,北京20170308,黄渤,光环斗地主,5,360手机助手,0.1版本,北京20170308,黄渤,光环斗地主,7,360手机助手,0.1版本,北京20170308,黄渤,光环斗地主,10,360手机助手,0.2版本,北京20170308,黄渤,光环斗地主,9,360手机助手,0.2版本,北京20170308,黄渤...原创 2018-03-17 10:26:18 · 519 阅读 · 0 评论 -
MapReduce案例6——学生成绩增强版
题目及数据:computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,...原创 2018-03-16 22:47:25 · 2978 阅读 · 0 评论 -
MapReduce案例5——求互粉好友对
题目:A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J,K求互粉好友对:例如A的粉丝有B,B的粉丝有A,则为一对互粉好友对思路:将数据按照从小到大的顺序形成好友对,作...原创 2018-03-16 21:30:38 · 1656 阅读 · 0 评论 -
MapReduce案例4——求两两共同好友
题目如下:A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J,K以上是数据:A:B,C,D,F,E,O表示:B,C,D,E,F,O是A用户的好友。1、求所有...原创 2018-03-16 21:11:06 · 1055 阅读 · 0 评论 -
MapReduce案例3——求简单数据去重
数据去重源数据:2012-3-1 a2012-3-2 b2012-3-3 c2012-3-4 d2012-3-5 a2012-3-6 b2012-3-7 c2012-3-3 c2012-3-1 b2012-3-2 a2012-3-3 b2012-3-4 d2012-3-5 a2012-3-6 c2012-3-7 d2012-3-3 c最终结果:2012-3-...原创 2018-03-16 20:22:40 · 429 阅读 · 0 评论 -
MapReduce案例2——求学生平均成绩
题目:计算学生考试平均成绩 源数据:张三 98李四 96王五 95张三 90李四 92王五 99张三 80李四 90王五 94张三 82李四 92最终答案:张三 98李四 87王五 86上面的答案仅是格式,非正确数据思路:姓名作为key,成绩作为value,在map分组,在reduce中求平均值类似于SQL中的select name, avg(score) ...原创 2018-03-16 20:12:57 · 5172 阅读 · 1 评论 -
MapReduce案例12——倒序索引
倒排索引(Inverted Index),也常被称为反向索引、置入档案或反向档案,是一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两份数据:mapreduce-4-1.txthuangbo love xuzhenghuangxiaoming love baby huangxiaoming love yangmilia...原创 2018-03-22 19:03:04 · 969 阅读 · 0 评论