![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习-Hadoop-案例
WeiRongWork
这个作者很懒,什么都没留下…
展开
-
Hadoop-自定义MR输出
Hadoop-自定义MR输出要求在原来MR成绩统计案例的基础上,将平均分x>=80分的分为A,80>x>=60的分为B,小于60的分为C,并输出到A.txt,B.txt,C.txt中MR成绩统计案例:https://blog.csdn.net/qq_40249304/article/details/92854157自定义流输出,类似于Partition,但重写部分与par...原创 2019-06-23 23:52:49 · 315 阅读 · 0 评论 -
Hadoop-MRjob串联之倒排索引
Hadoop-MRjob串联之倒排索引数据:文件a.txta a a bb c d文件b.txtc c c dd a b文件c.txtd a d cc f b需求统计所有文件中单词出现的个数,按TAB切分,并计算在各个文件中的出现的个数Map1->IndexMap1.javapackage day4_jobs_input.jobs.index;impor...原创 2019-06-22 14:13:20 · 382 阅读 · 0 评论 -
Hadoop-MRjob串联之共同好友
MRjob串联之共同好友数据描述:A的好友有B,C,D,F,RA:B,C,D,F,RB:B,D,RC:A,G,U,X,D,F,RD:B,F,D,G,RE:A,D,F,RF:B,C,D,T,Y,F,RG:A,C,Z,K,RH:B,C,F,G,L,RI:B,L,D,R,EJ:B,D,G,F,RK:S,B,C,A要求:找出A,B的共同好友,找出A,C的共同好友…(所有人两两...原创 2019-06-22 13:52:38 · 142 阅读 · 0 评论 -
Hadoop-倒排索引一个MR实现
数据:文件a.txta a a bb c d文件b.txtc c c dd a b文件c.txtd a d cc f b需求统计所有文件中单词出现的个数,按TAB切分,并计算在各个文件中的出现的个数Map阶段package day4_jobs_input.jobs.index1mr;import org.apache.hadoop.io.IntWritable;...原创 2019-06-21 22:00:23 · 164 阅读 · 0 评论 -
MR学生成绩等级统计
MR学生成绩等级统计数据:English,liudehua,80English,lijing,79English,nezha,85English,jinzha,60English,muzha,71English,houzi,99English,libai,88English,hanxin,66English,zhugeliang,95Math,liudehua,74Mat...原创 2019-06-20 00:27:29 · 407 阅读 · 0 评论 -
MR学生成绩统计
MR学生成绩统计数据:English,liudehua,80English,lijing,79English,nezha,85English,jinzha,60English,muzha,71English,houzi,99English,libai,88English,hanxin,66English,zhugeliang,95Math,liudehua,74Math,...原创 2019-06-20 00:27:11 · 607 阅读 · 0 评论