MapReduce做key降序排序

最新推荐文章于 2023-07-30 17:22:07 发布

一个喜欢写代码的小龙龙

最新推荐文章于 2023-07-30 17:22:07 发布

阅读量960

点赞数

分类专栏： mapreduce java学习文章标签： Mapreduce

本文链接：https://blog.csdn.net/jws123123123/article/details/102905292

版权

本文介绍了如何利用MapReduce的排序特性，对数据的key进行降序排序，通过提供的完整代码展示具体实现过程。

摘要由CSDN通过智能技术生成

由于mapreduce能对key进行排序，所以我们想要的数据可以利用这一点进行排序。
完整代码

package com.招聘;

import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;

import java.util.regex