![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习-Hadoop-案例
WeiRongWork
这个作者很懒,什么都没留下…
展开
-
Hadoop-自定义MR输出
Hadoop-自定义MR输出 要求 在原来MR成绩统计案例的基础上,将平均分x>=80分的分为A,80>x>=60的分为B,小于60的分为C,并输出到A.txt,B.txt,C.txt中 MR成绩统计案例:https://blog.csdn.net/qq_40249304/article/details/92854157 自定义流输出,类似于Partition,但重写部分与par...原创 2019-06-23 23:52:49 · 319 阅读 · 0 评论 -
Hadoop-MRjob串联之倒排索引
Hadoop-MRjob串联之倒排索引 数据: 文件a.txt a a a b b c d 文件b.txt c c c d d a b 文件c.txt d a d c c f b 需求统计所有文件中单词出现的个数,按TAB切分,并计算在各个文件中的出现的个数 Map1->IndexMap1.java package day4_jobs_input.jobs.index; impor...原创 2019-06-22 14:13:20 · 384 阅读 · 0 评论 -
Hadoop-MRjob串联之共同好友
MRjob串联之共同好友 数据 描述:A的好友有B,C,D,F,R A:B,C,D,F,R B:B,D,R C:A,G,U,X,D,F,R D:B,F,D,G,R E:A,D,F,R F:B,C,D,T,Y,F,R G:A,C,Z,K,R H:B,C,F,G,L,R I:B,L,D,R,E J:B,D,G,F,R K:S,B,C,A 要求:找出A,B的共同好友,找出A,C的共同好友…(所有人两两...原创 2019-06-22 13:52:38 · 146 阅读 · 0 评论 -
Hadoop-倒排索引一个MR实现
数据: 文件a.txt a a a b b c d 文件b.txt c c c d d a b 文件c.txt d a d c c f b 需求统计所有文件中单词出现的个数,按TAB切分,并计算在各个文件中的出现的个数 Map阶段 package day4_jobs_input.jobs.index1mr; import org.apache.hadoop.io.IntWritable; ...原创 2019-06-21 22:00:23 · 166 阅读 · 0 评论 -
MR学生成绩等级统计
MR学生成绩等级统计 数据: English,liudehua,80 English,lijing,79 English,nezha,85 English,jinzha,60 English,muzha,71 English,houzi,99 English,libai,88 English,hanxin,66 English,zhugeliang,95 Math,liudehua,74 Mat...原创 2019-06-20 00:27:29 · 408 阅读 · 0 评论 -
MR学生成绩统计
MR学生成绩统计 数据: English,liudehua,80 English,lijing,79 English,nezha,85 English,jinzha,60 English,muzha,71 English,houzi,99 English,libai,88 English,hanxin,66 English,zhugeliang,95 Math,liudehua,74 Math,...原创 2019-06-20 00:27:11 · 608 阅读 · 0 评论