MapReduce 两个例子

最新推荐文章于 2022-09-30 23:40:30 发布

爱情是一杯美酒回忆是一场宿醉

最新推荐文章于 2022-09-30 23:40:30 发布

阅读量223

点赞数

本文链接：https://blog.csdn.net/Daisy_0514/article/details/100938482

版权

本文通过两个实例深入探讨MapReduce的使用，包括字母出现次数的统计以及电影评分的总和计算，展示了MapReduce在大数据处理中的应用。

摘要由CSDN通过智能技术生成

字母计数问题

//Map阶段将数据转化为输出数据类型
public class WordCountMap extends Mapper<LongWritable, Text,Text, IntWritable> {
   
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
        String word = value.toString();//转化为java对象
        String[] words = word.split(" ");//拆分
        //   类型 每个值 循环数组  增强for
        for (String w:words){
   
            context.write(new Text(w), new IntWritable(1));//输出
        }
    }
}

//Reduce 阶段将Map中输出的数据进行归纳处理
public class WordCountReduce extends Reducer<Text, IntWritable, Text,IntWritable>{
   
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
   
        Integer count = 0;//设初始个数为0
        for (IntWritable v : values