MapReduce二次排序实例分析

最新推荐文章于 2022-06-01 15:44:08 发布

luowuhui。

最新推荐文章于 2022-06-01 15:44:08 发布

阅读量228

点赞数 2

本文链接：https://blog.csdn.net/baidu_38981831/article/details/105290666

版权

本文详细介绍了MapReduce实现二次排序的案例，通过实际需求分析和解决思路，讲解了Map端和Reduce端的处理过程，包括自定义分区器和分组器的使用，以确保数据按特定规则排序。核心代码部分展示了关键类的实现，如Mapper、Reducer、Partitioner和GroupSort。

摘要由CSDN通过智能技术生成

概述

MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的，在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现原理及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的MapReduce二次排序的例子，讲述二次排序的实现和其MapReduce的整个处理流程，并且通过结果和Map、Reduce端的日志来验证描述的处理流程的正确性。

数据样例

60-01-94-59-DD-5F2020-03-30 23:56:51113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:57:23113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:57:36113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:58:01113.40870623.128417
04-ED-33-F8-BB-C32020-03-30 23:56:56113.33595123.126707
04-ED-33-F8-BB-C32020-03-30 23:56:59113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:57:11113.33595123.126707
04-ED-33-F8-BB-C32020-03-30 23:57:31113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:58:10113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:58:28113.33595123.126707

需求:

需求一:

统计每个身份(mac)的运动轨迹.需要有时间(10s时间内被同一个地点设备重复采集时认为一个数据),经纬度,且运动轨迹以时间升序排序

结果样例

04-ED-33-F8-BB-C3	START-->[2020-03-30 23:56:56](23.126707,113.335951)-->[2020-03-30 23:56:59](23.126707,113.335951)-->[2020-03-30 23:57:31](23.126707,113.335951)-->END
50-EC-50-1F-7E-E8	START-->[2020-03-30 23:57:11](23.126707,113.335951)-->[2020-03-30 23:58:10](23.126707,113.335951)-->[2020-03-30 23:58:28](23.126707,113.335951)-->END
60-01-94-59-DD-5F	START-->[2020-03-30 23:56:51](23.128417,113.408706)-->[2020-03-30 23:57:23](23.128417,113.408706)-->[2020-03-30 23:57:36](23.128417,113.408706)-->[2020-03-30 23:58:01](23.128417,113.408706)-->END

需求分析

根据需求,有效字段为:采集时间,身份ID,无线AP经度,无线AP纬度
有效字段数据样例如下:

60-01-94-59-DD-5F2020-03-30 23:56:51113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:57:23113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:57:36113.40870623.128417
60-01-94-59-DD-5F2020-03-30 23:58:01113.40870623.128417
04-ED-33-F8-BB-C32020-03-30 23:56:56113.33595123.126707
04-ED-33-F8-BB-C32020-03-30 23:56:59113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:57:11113.33595123.126707
04-ED-33-F8-BB-C32020-03-30 23:57:31113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:58:10113.33595123.126707
50-EC-50-1F-7E-E82020-03-30 23:58:28113.33595123.126707

解决思路

Map端处理

根据需求，我们有一个非常明确的目标就是要对第一列相同的记录，并且对合并后的时间进行排序。我们都知道MapReduce框架不管是默认排序或者是自定义排序都只是对key值进行排序，现在的情况是这些数据不是key值，怎么办？其实我们可以将原始数据的key值和其对应的数据组合成一个新的key值，然后新的key值对应的value还是原始数据中的valu。那么我们就可以将原始数据的map输出变成类似下面的数据结构：

{[60-01-94-59-DD-5F,2020-03-30 23:56:51],2020-03-30 23:56:51,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:57:23],2020-03-30 23:57:23,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:57:36],2020-03-30 23:57:36,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:58:01],2020-03-30 23:58:01,113.408706,23.128417}
{[04-ED-33-F8-BB-C3,2020-03-30 23:56:56],2020-03-30 23:56:56,113.335951,23.126707}
{[04-ED-33-F8-BB-C3,2020-03-30 23:56:59],2020-03-30 23:56:59,113.335951,23.126707}
{[04-ED-33-F8-BB-C3,2020-03-30 23:57:31],2020-03-30 23:57:31,113.335951,23.126707}
{[50-EC-50-1F-7E-E8,2020-03-30 23:57:11],2020-03-30 23:57:11,113.335951,23.126707}
{[50-EC-50-1F-7E-E8,2020-03-30 23:58:10],2020-03-30 23:58:10,113.335951,23.126707}
{[50-EC-50-1F-7E-E8,2020-03-30 23:58:28],2020-03-30 23:58:28,113.335951,23.126707}

那么我们只需要对[]里面的key值进行排序就OK了，然后我们需要自定义一个分区处理器，因为我的目标不是想将新key相同的记录传到一个reduce中，而是想将新key中第一个字段相同的记录放到同一个reduce中进行分组合并，所以我们需要根据新key值的第一个字段来自定义一个分区处理器。通过分区操作后，得到的数据流如下：

Partition1：{[60-01-94-59-DD-5F,2020-03-30 23:56:51],2020-03-30 23:56:51,113.408706,23.128417}、{[60-01-94-59-DD-5F,2020-03-30 23:57:23],2020-03-30 23:57:23,113.408706,23.128417},{[60-01-94-59-DD-5F,2020-03-30 23:57:36],2020-03-30 23:57:36,113.408706,23.128417},{[60-01-94-59-DD-5F,2020-03-30 23:58:01],2020-03-30 23:58:01,113.408706,23.128417}    
Partition2：{[04-ED-33-F8-BB-C3,2020-03-30 23:56:56],2020-03-30 23:56:56,113.335951,23.126707},{[04-ED-33-F8-BB-C3,2020-03-30 23:56:59],2020-03-30 23:56:59,113.335951,23.126707},{[04-ED-33-F8-BB-C3,2020-03-30 23:57:31],2020-03-30 23:57:31,113.335951,23.126707}  
Partition3：{[50-EC-50-1F-7E-E8,2020-03-30 23:57:11],2020-03-30 23:57:11,113.335951,23.126707},{[50-EC-50-1F-7E-E8,2020-03-30 23:58:10],2020-03-30 23:58:10,113.335951,23.126707},{[50-EC-50-1F-7E-E8,2020-03-30 23:58:28],2020-03-30 23:58:28,113.335951,23.126707}

分区操作完成之后，我调用自己的自定义排序器对新的key值进行排序

{[04-ED-33-F8-BB-C3,2020-03-30 23:56:56],2020-03-30 23:56:56,113.335951,23.126707}
{[04-ED-33-F8-BB-C3,2020-03-30 23:56:59],2020-03-30 23:56:59,113.335951,23.126707}
{[04-ED-33-F8-BB-C3,2020-03-30 23:57:31],2020-03-30 23:57:31,113.335951,23.126707}

{[50-EC-50-1F-7E-E8,2020-03-30 23:57:11],2020-03-30 23:57:11,113.335951,23.126707}
{[50-EC-50-1F-7E-E8,2020-03-30 23:58:10],2020-03-30 23:58:10,113.335951,23.126707}
{[50-EC-50-1F-7E-E8,2020-03-30 23:58:28],2020-03-30 23:58:28,113.335951,23.126707}

{[60-01-94-59-DD-5F,2020-03-30 23:56:51],2020-03-30 23:56:51,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:57:23],2020-03-30 23:57:23,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:57:36],2020-03-30 23:57:36,113.408706,23.128417}
{[60-01-94-59-DD-5F,2020-03-30 23:58:01],2020-03-30 23:58:01,113.408706,23.128417}

Reduce端处理

经过Shuffle处理之后，数据传输到Reducer端了。在Reducer端按照组合键的第一个字段进行分组，并且每处理完一次分组之后就会调用一次reduce函数来对这个分组进行处理和输出。最终各个分组的数据结果变成类似下面的数据结构：

04-ED-33-F8-BB-C3	START-->[2020-03-30 23:56:56](23.126707,113.335951)-->[2020-03-30 23:56:59](23.126707,113.335951)-->[2020-03-30 23:57:31](23.126707,113.335951)-->END
50-EC-50-1F-7E-E8	START-->[2020-03-30 23:57:11](23.126707,113.335951)-->[2020-03-30 23:58:10](23.126707,113.335951)-->[2020-03-30 23:58:28](23.126707,113.335951)-->END
60-01-94-59-DD-5F	START-->[2020-03-30 23:56:51](23.128417,113.408706)-->[2020-03-30 23:57:23](23.128417,113.408706)-->[2020-03-30 23:57:36](23.128417,113.408706)-->[2020-03-30 23:58:01](23.128417,113.408706)-->END

核心代码

入口类MotionTrajectoryApp

public class MotionTrajectoryApp {
   
	public static void main (String[] args) throws IOException, ClassNotFoundException, InterruptedException {
   
		Configuration conf = new Configuration();

		//没有这里可能会报权限错误,因为远程部署用户与当前开发用户不一致
		//				System.setProperty("HADOOP_USER_NAME","hadoop");
		//获取配置 , 连接到hdfs
		//				conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		//				conf.set("hadoop.user.name", "hadoop");
		//访问本地
		//				conf.set("mapreduce.framework.name","local");
		//				conf.set("fs.defaultFS","file:///");
		Job job = Job.getInstance(conf,"Motion-Trajectory");
		job.setJarByClass(MotionTrajectoryApp.class);
		//指定mapper类和reduce类
		job.setMapperClass(MotionTrajectoryMapper.class);
		job.setReducerClass(MotionTrajectoryReduce.class);

		//指定mappertask输出类型
		job.setMapOutputKeyClass(MotionScore.class);
		job.setMapOutputValueClass(Text.class);
		//指定reducetask输出类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);

		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);

		//设置分区和reduce数量(reduce的数量，和分区的数量对应，因为分区为一个，所以reduce的数量也是一个)
		job.setPartitionerClass(MotionTrajectoryPartitioner.class);
		job.setNumReduceTasks