大数据开发利器：Hadoop（7）MapReduce进阶

最新推荐文章于 2022-04-26 16:43:41 发布
最新推荐文章于 2022-04-26 16:43:41 发布
阅读量1k 收藏 1
点赞数
分类专栏： 大数据学习 文章标签： mapreduce 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Lecter/article/details/53027916
版权

本节将以一个实例讲解MapReduce开发。主要涉及点为二次排序、Partition。

1. 例子介绍

1.1 输入数据

① 假设有一个网站，有三个不同的页面，分为web1、web2、web3。
② 有三个用户（jones、lee、oscar）访问了其中几个页面。
③ 记录了三个用户访问页面的时间。
初始数据如下：

nametimeinfo
jones100web1
lee60web3
lee20web1
oscar120web1
jones900web1
lee60web2
jones30web3
oscar500web2
oscar30web3

第一列为用户名，第二列为访问时间，第三列为访问的页面。列与列之间用tab(即\t)间隔。

2.2 输出数据

可以发现，数据与数据之间是散乱排布的。所以我们做以下的处理：
① 按照姓名分类。将姓名相同的分为一组。
② 将分好组的数据内部排序。即相同姓名的数据按照访问时间降序排序。
③ 不同姓名的组按照字典序进行排序。
所以输出数据如下所示：

Numnametimeinfo
1jones900web1
2jones100web1
3jones30web3
1lee60web2
2lee60web3
3lee20web1
1oscar500web2
2oscar120web1
3oscar30web3

第一列是将同一姓名排序的序列。
第二列是姓名。
第三列是访问不同网页的时间（不同组内降序排列）。
第四列为访问的网页。

2. 代码实现

2.1 项目准备

① 创建Map/Reduce porject。这里项目名为mapreduce2，包名为com.jkb.mapreduce，类名为UserWeb。
② 复制hadoop配置文件到src目录下。

cd $HADDOP_HOME
cd etc/hadoop
cp core-site.xml hdfs-site.xml log4j.properties ~/workspace/mapreduce2/src

2.2 Map类实现

public static WebMap extends Mapper<Object, Text, Text, Text> {
    @Override
    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
    // 对输入的数据进行切分
        String[] line = value.toString[].split("\t");
        if (line.length == 3) {
            String name = line[0]; // 姓名
            String time = line[1]; // 停留时间
            String infor = line[2]; // 访问网站
/*
    这里将输出两部分:
    ① name + time
    ② time + infor
*/
            context.write(new Text(name + "\t" + time), new Text(time + "\t" + infor));
        }
    }
}

2.3 定制Partitioner

在MapReduce程序中，Partitioner决定Map节点的输出将被分区到哪个Reduce节点。MaPReduce提供的默认的Partitioner是HashPartitioner,它根据每条数据记录的主键值进行Hash操作，获得一个非负整数的Hash码，然后用当前作业的Reduce节点数（分区数）进行取模运算，以此决定该记录将分区到哪个Reduce节点。当Hash函数足够理想时，所有的记录将能被均匀地分区到各个Reduce节点上，并且保证具有同一个主键地记录将被分区到同一个Reduce节点上。

public static class Partition extends Partitioner<Text, Text> {
    @Override
    public int getPartition(Text key, Text value, int number) {
        String name = key.toString().split("\t")[0];
        int hash = name.hashCode();
        return Math.abs(hash % number);
    }
}

2.4 WritableComparator类实现

①排序
public static class Sort extends WritableComparator {
    protected Sort() {
        super(Text.class, true);
    }

    @Override
    public int compare(WritableComparable w1, WritableComparable w2) {
        Text h1 = new Text(((Text) w1).toString().split("\t")[0]);
        Text h2 = new Text(((Text) w2).toString().split("\t")[0]);

        IntWritable M1 = new IntWritable(Integer.valueOf(((Text) w1).toString().split("\t")[1]));
        IntWritable M2 = new IntWritable(Integer.valueOf(((Text) w2).toString().split("\t")[1]));
        // 二次排序
        int R;
        if (h1.equals(h2)) {
            R = M2.compareTo(M1);
        } else {
            R = h1.compareTo(h2);
        }
        return R;
    }
}
② 分组
public static class Group extends WritableComparator { 
    protected Group() {
        super(Text.class, true);
    }

    @Override
    public int compare(WritableComparable w1, WritableComparable w2) {
        Text h1 = new Text(((Text) w1).toString().split("\t")[0]);
        Text h2 = new Text(((Text) w2).toString().split("\t")[0]);

        int R;
        if (h1.equals(h2)) {
            R = 0;
        } else {
            R = h1.compareTo(h2);
        }
        return R;
    }
}

2.5 Reduce实现

public static class WebReduce extends Reducer<Text, Text, IntWritable, Text> {
    @Override
    public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        int count = 0;
        String name = key.toString().split("\t")[0];
        for (Text t : values) {
            count++;
            StringBuffer buffer = new StringBuffer();
            buffer.append(name);
            buffer.append("\t");
            buffer.append(t.toString());
            context.write(new IntWritable(count), new Text(buffer.toString()));
        }
    }
}

2.6 启动job实现

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    if (args.length != 4) {
        System.out.println("error");
        System.exit(0);
    }
    int SplitMB = Integer.valueOf(args[2]);
    String dst = args[0];
    String out = args[1];
    Configuration conf = new Configuration();
    conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(SplitMB * 1024 * 1024));
    conf.set("mapred.min.split.size", String.valueOf(SplitMB * 1024 * 1024));
    conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(SplitMB * 1024 * 1024));
    conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(SplitMB * 1024 * 1024));
    // 删除目录
    Path outputPath = new Path(out);
    outputPath.getFileSystem(conf).delete(outputPath, true);
    Job job = new Job(conf);

    FileInputFormat.addInputPath(job, new Path(dst));
    FileOutputFormat.setOutputPath(job, new Path(out));
    job.setNumReduceTasks(Integer.valueOf(args[3]));
    job.setPartitionerClass(Partition.class);
    job.setGroupingComparatorClass(Group.class);
    job.setSortComparatorClass(Sort.class);
    job.setMapperClass(WebMap.class);
    job.setReducerClass(WebReduce.class);

    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(Text.class);

    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);

    job.setJarByClass(UserWeb.class);
    job.waitForCompletion(true);
}

2.7 完整代码

package com.jkb.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class UserWeb {
    public static class WebMap extends Mapper<Object, Text, Text, Text> {

        @Override
        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            // 切分
            String[] line = value.toString().split("\t");
            if (line.length == 3) {
                String name = line[0]; // 姓名
                String time = line[1]; // 停留时间
                String infor = line[2]; // 信息
                context.write(new Text(name + "\t" + time), new Text(time
                        + "\t" + infor));
            }
        }
    }

    public static class Partition extends Partitioner<Text, Text> {
        @Override
        public int getPartition(Text key, Text value, int number) {
            String name = key.toString().split("\t")[0];
            int hash = name.hashCode();
            return Math.abs(hash % number);
        }
    }

    // 可以序列化
    public static class Sort extends WritableComparator {
        protected Sort() {
            super(Text.class, true);
        }

        @Override
        public int compare(WritableComparable w1, WritableComparable w2) {
            Text h1 = new Text(((Text) w1).toString().split("\t")[0]);
            Text h2 = new Text(((Text) w2).toString().split("\t")[0]);

            IntWritable M1 = new IntWritable(Integer.valueOf(((Text) w1)
                    .toString().split("\t")[1]));
            IntWritable M2 = new IntWritable(Integer.valueOf(((Text) w2)
                    .toString().split("\t")[1]));

            // 二次排序
            int R;
            if (h1.equals(h2)) {
                R = M2.compareTo(M1);
            } else {
                R = h1.compareTo(h2);
            }
            return R;
        }
    }

    public static class Group extends WritableComparator {
        protected Group() {
            super(Text.class, true);
        }

        @Override
        public int compare(WritableComparable w1, WritableComparable w2) {
            Text h1 = new Text(((Text) w1).toString().split("\t")[0]);
            Text h2 = new Text(((Text) w2).toString().split("\t")[0]);

            int R;
            if (h1.equals(h2)) {
                R = 0;
            } else {
                R = h1.compareTo(h2);
            }
            return R;
        }
    }

    public static class WebReduce extends
            Reducer<Text, Text, IntWritable, Text> {
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            int count = 0;
            String name = key.toString().split("\t")[0];
            for (Text t : values) {
                count++;
                StringBuffer buffer = new StringBuffer();
                buffer.append(name);
                buffer.append("\t");
                buffer.append(t.toString());
                context.write(new IntWritable(count),
                        new Text(buffer.toString()));

            }
        }
    }

    public static void main(String[] args) throws IOException,
            ClassNotFoundException, InterruptedException {
        if (args.length != 4) {
            System.out.println("error");
            System.exit(0);
        }
        int SplitMB = Integer.valueOf(args[2]);
        String dst = args[0];
        String out = args[1];
        Configuration conf = new Configuration();
        conf.set("mapreduce.input.fileinputformat.split.maxsize",
                String.valueOf(SplitMB * 1024 * 1024));
        conf.set("mapred.min.split.size", String.valueOf(SplitMB * 1024 * 1024));
        conf.set("mapreduce.input.fileinputformat.split.minsize.per.node",
                String.valueOf(SplitMB * 1024 * 1024));
        conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack",
                String.valueOf(SplitMB * 1024 * 1024));
        // 删除目录
        Path outputPath = new Path(out);
        outputPath.getFileSystem(conf).delete(outputPath, true);
        Job job = new Job(conf);


        FileInputFormat.addInputPath(job, new Path(dst));
        FileOutputFormat.setOutputPath(job, new Path(out));
        job.setNumReduceTasks(Integer.valueOf(args[3]));
        job.setPartitionerClass(Partition.class);
        job.setGroupingComparatorClass(Group.class);
        job.setSortComparatorClass(Sort.class);
        job.setMapperClass(WebMap.class);
        job.setReducerClass(WebReduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(IntWritable.class);
        job.setOutputValueClass(Text.class);

        job.setJarByClass(UserWeb.class);
        job.waitForCompletion(true);
    }
}

3. 运行项目

首先构造数据上传到HDFS /edu/mr2。
这里可以导出包，使用hadoop jar 包名.类名 导出包名 /edu/mr2 /edu/out 128 1运行。
也可以直接使用Eclipse运行。
结果如下所示：
mr运行结果

4. 总结

本节开始涉及MapReduce进阶使用，难度有所提升。

参考资料

网易云课堂微专业 大数据工程师

知庸vv
关注
专栏目录
大数据(四) - MapReduce
will的成长之路
01-15 4001
MapReduce适合PB级以上海量数据的离线处理 MapReduce不擅长什么         实时计算                 像MySQL一样，在毫秒级或者秒级内返回结果         流式计算                 MapReduce的输入数据集是静态的，不能动态变化                 MapReduce自身的设计特点决定了数据源必须是静态的
大数据入门学习之HBase MapReduce的实战分析和演练
IT时代周刊
05-21 499
跟hadoop的无缝集成使得使用MapReduce对habse的数据进行分布式计算非常方便，本文将以前面的blog示例，介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解。 HBase MapReduce核心类介绍 首先一起来回顾下MapReduce的基本编程模型， 可以看到最基本的是通过Mapper和Reducer...
MapReduce进阶
ShadowAJ
04-15 246
Hadoop系列之四：MapReduce进阶
weixin_34218579的博客
01-02 176
1、mapper和reducer MapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-value pair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduc...
Mapreduce 进阶
afei2530的博客
09-04 131
场景描述 订单需要封装成为一个bean 传入reduce,然后实现排序取出top1,或者分组求和 首先要实现排序就要实现comparable接口 要实现分组top1,那么"相同的bean"要到同一个reduce中去,要实现自定义partitioner 到了同一个分区之后 "相同的bean"要reduce程序认为是相同的要实现groupingComparator /** ...
【性能调优专家】：Hadoop性能调优，环形缓冲区参数精细化调整实战
![【性能调优专家】：Hadoop性能调优，环形缓冲区参数精细化调整实战]...Hadoop通过其核心组件HDFS和MapReduce处理大规模数据集，为数据分析、存储和处理提供了强大的
Ambari——大数据平台的搭建利器之进阶篇[配置spark]
bbaiggey_bigdata的博客
01-18 6657
虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的初学者，而且各个产品之间的集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装，又或者 Spark/YARN 等的集成，都不是几行简单的命令，而是要关联到许多的配置。有了 Ambari，这些都不再是难题 前言 本文适合已经初步了解 Ambari 的读者。对 Ambari 的基础知识，以及 Ambari
大数据技术Hadoop面试题
IT时代周刊
05-15 1141
在互联网高速发展的今天，很多人还没有搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联网的时候，大数据时代又来了。大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。 单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)second...
【MapReduce全面解析】：大数据处理的利器，性能提升秘籍，与Spark对比分析
在大数据处理领域，MapReduce是一种编程模型，用于在分布式系统中处理和生成大数据集。它的设计理念源于函数式编程中的Map和Reduce操作，核心思想是将任务分割成小任务，然后并行处理。 MapReduce架构包含两个主要...
hadoop-mapreduce进阶
Gamedev
11-15 686
本文围绕四部分展开 - Partitioner编程 - 自定义排序编程 - Combiner编程 - 常见的MapReduce算法Partitioner编程
MapReduce 进阶
weixin_46579297的博客
04-26 430
1HDFS数据格式详解： 1.1文件格式 分为面向行和面向列的两大类文件格式 面向行 ： 文本文件格式（.TXT） 可切分 优点：查看方便编辑简单 缺点：无压缩占空间打，传输业利达，数据解析开销大 适用场景：学习练习使用 面向行： 序列文件格式（.seq） 可切分 优点：衍生支持，二进制kv存储，支持行和块压缩 缺点：本地查看不方便，小文件合并成KV结构后不易查看内部数据 适用场景：生产环境使用。map 输出的默认文件格式 面向列：（.rc）可切分 优点：数据加载快，查询快，空间利用率高，高负载
大数据-MapReduce
Destiny的博客
03-01 375
MapReduce 概述 分布式程序的编程框架，是基于Hadoop的数据分析应用的核心框架。其功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布是运算程序，并发的运行在Hadoop集群上 特点 优点： 易于编程 良好的拓展性 高容错性 适合处理PB级别以上的离线处理 缺点： 不擅长做实时计算 不擅长做流式计算（MapReduce的数据源是静态的） 不支持DAG（有...
大数据之MapReduce
weixin_40598838的博客
05-26 262
MapReduce简介 MapReduce的地位 HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN： Hadoop 的资源调度系统 Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce的定义 (1)MapReduce是一个基于集群的高性能并行计算平台。它允许用普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群...
大数据开发 | MapReduce
大数据基础入门教程
04-22 2406
1. MapReduce 介绍 1.1MapReduce的作用 假设有一个计算文件中单词个数的需求，文件比较多也比较大，在单击运行的时候机器的内存受限，磁盘受限，运算能力受限，而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度，因此这个工作可能完成不了。针对以上这个案例，MapReduce在这里能起到什么作用呢，引入MapReduce框架后，开发人员可以将绝大部分工...
大数据之Mapreduce
大数据同盟会的博客
08-11 643
大数据之mapreduce
HADOOP进阶
05-05 265
一，HDFS文件写入流程 hadoop fs -put word.txt /input 执行该步骤的流程： 1，客户端先与NameNode通信，通过RPC通信，创建一个远程的RPC请求，发起上传一个文件请求， 2，NameNode接收到这个请求之后，会对新建文件的进行各种检查，确保这个文件在HDFS中是不存在的，以及客户端有新建文件的权限， 3，NameNode...
Hadoop进阶
u013176138的博客
11-29 563
hadoop模仿谷歌大数据技术，开源。 Hadoop 开源的，分布式存储+分布式计算平台 两个核心组成： HDFS:分布式文件系统，存储海量的数据 MapReduce: 并行处理框架，实现任务分解和调度 可以用来做什么？ 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。 优势： 高扩展 低成本 成熟的生态圈 应用情况 百度，腾讯，阿里都在
大数据技术解析：Hadoop、MapReduce与Hive实战
"大数据Hadoop、MapReduce、Hive项目实践" 大数据是当今信息技术领域的重要组成部分，它涵盖了大量、多样、快速以及价值密度低的数据。大数据的4V特性推动了技术的发展，传统数据库在处理这类数据时显得力不从心，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值