利用MapReduce解决在海量数据中求Top K个数

最新推荐文章于 2020-12-05 15:23:43 发布

jtlyuan

最新推荐文章于 2020-12-05 15:23:43 发布

阅读量1.1w

点赞数 1

分类专栏： Hadoop 文章标签： mapreduce exception string class path

本文链接：https://blog.csdn.net/jtlyuan/article/details/7560905

版权

该博客介绍了如何使用MapReduce处理海量数据，通过Map和Reduce阶段找出前K个最大数值。Map阶段实现了将输入数据转换为K个最大数的数组，并在Reduce阶段进行合并和更新，最终输出Top K数值。

摘要由CSDN通过智能技术生成

利用MapReduce求海量数据中最大的K个数

package jtlyuan.csdn;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoo