MapReduce统计TopN示例

最新推荐文章于 2024-07-21 02:58:52 发布

nazenmehaoyisi

最新推荐文章于 2024-07-21 02:58:52 发布

阅读量3.5k

点赞数

分类专栏： MapReduce

本文链接：https://blog.csdn.net/nazenmehaoyisi/article/details/78383456

版权

博客内容介绍了如何使用MapReduce分别统计年、月、日的最高气温，并强调了默认Text排序的适用性。在处理并列TopN情况时，提出了自定义比较器的解决方案，通过封装类和TreeSet在reduce阶段进行TopN统计，同时注意在数据有限时的特殊情况。此外，还提到了combiner在提高效率方面的作用。

摘要由CSDN通过智能技术生成

分别统计年、月、日最高气温（实现排序）

package mr.temp;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;

public class TopTemp {
    static class MyMapper extends Mapper<LongWritable, Text, Text, DoubleWritable> {
        Text outKey = new Text();
        DoubleWritable outValue = new DoubleWritable();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            try {
                String[] datas = value.toString().split("\t");
                outValue.set(Double.valueOf(datas[1]));
                outKey.set(datas[0].substring(0, 10));//按照天进行统计最高气温
                context.write(outKey, outValue);
                outKey.set(datas[0].substring(0, 7));//按照月进行统计最高气温