mapreduce
IT雪
run
展开
-
mapreduce-找出共同好友
1、原始数据 A:B,C,D,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 2、解题思路: 第一步: map 读一行 A:B,C,D,E,O 输出 <...原创 2018-10-17 21:54:33 · 270 阅读 · 0 评论 -
mapreduce-多个文件的输入,实现每个单词的文件次数倒序排序
1、第一次mapreduce package cn.itcast.mr.combineSort2; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;...原创 2018-10-17 21:55:03 · 785 阅读 · 0 评论 -
MapReduce中自定义文件输出名
MR的输出结果默认为part-r-00000,我们可自定义易识别的名字替代part,如score-r-00000/ job.setOutputFormatClass(MyOut.class); MyOut.setOutputName(job, "score");//自定义输出名 job.waitForCompletion...转载 2018-10-22 16:32:09 · 574 阅读 · 0 评论