mapreduce概要模式

最新推荐文章于 2021-12-14 16:58:29 发布

入眸幻灭

最新推荐文章于 2021-12-14 16:58:29 发布

阅读量601

点赞数

分类专栏： mapreduce设计模式文章标签： mapreduce

本文链接：https://blog.csdn.net/wcandy001/article/details/49647507

版权

该博客深入探讨MapReduce设计模式，重点关注数值概要处理。通过实例讲解如何利用MapReduce解决数据聚合问题，如按ID进行最大值、最小值和计数的计算。在Windows VM上的CentOS系统和Hadoop 2.2.0环境下进行演示，使用Java 1.7开发。数据格式为ID与number以空格分隔，博客内容将详细阐述实现步骤。

摘要由CSDN通过智能技术生成

本栏目主讲MapReduce设计模式，每天更新…..
数值概要模式
目的：把数据取出进行聚合，最基本的设计模式
主要用于处理数值或者计数，分类等场景，例：sql里面的group by
运行环境：windows下VM虚拟机，centos系统，hadoop2.2.0，三节点，java 1.7
需要处理的数据为
ID number
1 1
2 2
34 6
54 34
2 56
65 12
1 78
65 65
45 45
54 99
34 56
2 76
1 34
54 26
45 34
65 73
求出每个ID的最大number和最小number及每个ID出现的次数
注：以上数据每行的ID与number以“ ”（空格）作为分隔符

1.首先自定义一个Writable对象
（需要实现Writable接口的readField和write方法）

package boke;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;

public class MaxMinCountWritable implements Writable{
   
//三个变量，分别记录最大值和最小值及出现次数
    private long Max=0;
    private long Min=0;
    private long Count=0;
    //各个变量的set和get方法
    public void setMax(long Max)
    {
        this.Max=Max;
    }
    public void setMin(long Min)
    {
        this.Min=Min;
    }
    public void setCount(long Count)
    {
        this.Count=Count;
    }
    public long getMin()
    {
        return this.Min;
    }
    public long getCount()
    {
        return this.Count;
    }
    public long getMax()
    {
        return this.Max;
    }
    //这里是实现Writable接口的方法
    public void readFields(DataInput in)throws IOException
    {
        Max=in.readLong();
        Min=in.readLong();
        Count=in.readLong();
    }
    public void write(DataOutput out)throws