使用MapReduce统计TopN数据

最新推荐文章于 2024-07-21 02:58:52 发布

PhoneMeWhenNecessary

最新推荐文章于 2024-07-21 02:58:52 发布

阅读量2.5k

点赞数 2

文章标签： hadoop 大数据 mapreduce 数据结构

本文链接：https://blog.csdn.net/luvseeu/article/details/106034521

版权

该实验通过Hadoop的MapReduce实现机票销售数据的分析，包括统计买入和卖出机场Top10、代理人Top10及第一天卖出票最多的机场Top10。实验中，Map函数处理数据并生成<key, value>对，Reduce函数利用TreeMap进行求和并排序，最终输出Top10结果。实验过程中解决了如何抓取多组键值对、限制输出TopN数据及解决TreeMap类型问题。" 84625194,993485,SIP错误代码与原因详解,"['SIP协议', '通信错误', '网络通信', 'VoIP', '通信故障排除']

摘要由CSDN通过智能技术生成

前几天做了一个实验，把实验报告贴这吧。

部分实验数据：

在这里插入图片描述

一、实验目的

学习和掌握利用MapReduce进行数据分析，加深对所学知识点的理解，熟悉MapReduce的数据处理流程。

二、实验内容

使用Hadoop生态组件（文件系统HDFS，处理引擎MapReduce），基于机票销售记录数据集，完成特定数据分析任务。
1、统计在买入方和卖出方出现次数最多的机场Top10;
2、统计买票数卖票数综合最多的代理人Top10;
3、统计第一天卖出票最多的机场Top10。

三、实验步骤

实验代码如下：

package MR;

import java.io.IOException;
import java.util.TreeMap;
import java.util.Comparator;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;



public class T1 {
   
	public static class Map extends Mapper<LongWritable, Text, Text, IntWritable>{
   
		
		public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
   
			String line = value.toString();
			String str[] = line.split(",");
			// to avoid ArrayIndexOfBoundException
			if (str.length > 4){
   
				// consider sale
				// if it's the 1st day
				if (str[0].equals("01")){
   
					// to solve the 3rd question
					if (str[1].matches("C\\d+")) context.write(new Text(str[1] + "Sold"), new IntWritable(Integer.parseInt