Hadoop编程——第五章：(2) MapReduce: WordCount案例详解

已于 2022-07-15 10:45:19 修改
阅读量1.3k 收藏 14
点赞数 3
分类专栏： Hadoop 文章标签： hadoop mapreduce 大数据
于 2022-07-12 14:53:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45348240/article/details/125739662
版权

MapReduce经典入门案例:WordCount

一、业务需求

WordCount中文叫做单词统计、词频统计，指的是统计指定文件中，每个单词出现的总次数。这个是大数据计算领域经典的入门案例，相当于Hello World。
虽然WordCount业务及其简单，但是希望能够通过案例感受背后MapReduce的执行流程和默认的行为机制，这才是关键。
在这里插入图片描述

二、编程思路

map阶段的核心∶把输入的数据经过切割，全部标记1。因此输出就是<单词，1>。
shuffle阶段核心∶经过默认的排序分区分组，key相同的单词会作为一组数据构成新的kv对。
reduce阶段核心:处理shuffle完的一组数据，该组数据就是该单词所有的键值对。对所有的1
在这里插入图片描述

三、WordCount案例代码详解

pom文件

一定要注意，hadoop-hdfs依赖放在最后面！！！

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.LJY</groupId>
    <artifactId>MR_WordCount</artifactId>
    <version>1.0</version>


    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version> 2.9.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version> 2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version> 2.9.2</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.28</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib</classpathPrefix>
                            <mainClass>WordCountDriver_v1</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

WordCountMapper

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

//按照编程规范，这个WordCountMapper类要继承父类Mapper

/**
 * WordCount Mapper类 对应着MapTask
 *
 * KEYIN:表示map阶段输入kv中的k类型，在默认组件下，是起始位置偏移量，因此是LongWritable
 * VALUEIN:表示map阶段输入kv中的v类型, 在默认组件下，是每一行内容，因此是Text
 *      todo MapReduce中有默认的读取数据组件，叫做TextInputFormat
 *      todo 其读数据的行为是一行一行地读数据 返回kv键值对
 *           k：每一行起始位置的偏移量 通常无意义
 *           v：这一行的文本内容
 * KEYOUT:表示map阶段输出kv中的k类型， 跟业务相关，本需求中输出的是单词，因此是Text
 * VALUEOUT:表示map阶段输出kv中的v类型， 跟业务相关，本需求中输出的是单词次数1，因此是LongWritable,如果单词量较少，也可以是IntWritable
 *
 */
public class WordCountMapper extends Mapper<LongWritable, Text,Text,LongWritable> {

    private Text outKey = new Text();
    private final static LongWritable outValue = new LongWritable(1);  //final终止防止被修改，value值写死
    /**
     * 重写父类map方法
     * map方法是mapper阶段核心方法，也是具体业务逻辑实现的方法
     * 注意：该方法被调用的次数与输入的kv键值对有关，每当TextInputFormat读取返回一个kv键值对，就调用一次map方法进行业务处理
     * 默认情况下，map方法是基于行来处理数据的
     */

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
        //拿取一行数据转换String类型
        String line = value.toString();

        //根据分隔符进行切割
        /**
         * 这里的\\s+，第一个\是转义字符，表示第二个\只是普通的斜杠，\s表示任意空白字符
         */
        String[] words = line.split(" ");

        //遍历数组
        for (String word : words) {  //获取每个单词
            //输出数据 把每个单词标记1  输出结果是<单词，1>
            //使用上下文对象 将数据输出

//            context.write(new Text(word),new LongWritable(1));

            /**
             * 如果单词量较大，每次都要new一个新的对象，很麻烦，所以可以使用单词复用，统一创建一个对象，把所有内容赋值进去
             */

            outKey.set(word);  //赋值
            context.write(outKey,outValue);
        }
    }


}

WordCountReducer

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * Reduce阶段的处理类，对应进程中的ReduceTask
 * KEYIN:表示reduce阶段输入kv中的k类型，对应的是map输出的key，因此在本需求中就是单词 Text
 * VALUEIN:表示reduce阶段输入kv中的v类型, 对应的是map输出的value,因此在本需求中就是单词的次数1 LongWritable
 * KEYOUT:表示reduce阶段输出kv中的k类型， 跟业务相关，本需求中输出的是单词，因此是Text
 * VALUEOUT:表示reduce阶段输出kv中的v类型， 跟业务相关，本需求中输出的是单词的总次数，因此是LongWritable
 */
public class WordCountReducer extends Reducer<Text, LongWritable,Text,LongWritable> {

    private LongWritable outValue = new LongWritable();

    /**
     *todo  Q:当map的所有输出数据来到reduce之后，该如何调用reduce方法进行处理？
     *       <hello,1><hadoop,1><hello,1><hadoop,1><hello,1>
     *1、排序：规则：根据key的字典序进行排序 a-z
     *       <hadoop,1><hadoop,1><hadoop,1><hello,1><hello,1>
     *2、分组：规则：key相同的分为一组
     *       <hadoop,1><hadoop,1><hadoop,1>
     *       <hello,1><hello,1>
     *3、分组之后，同一组的数据组成一个新的kv键值对，调用一次reduce方法。reduce方法基于分组调用一个分组调用一次
     *      todo 同一组数据组成一个新的kv键值对
     *      新key：该组共同的key
     *      新value:该组所有的value组成的一个迭代器 Iterable
     *      <hadoop,1><hadoop,1><hadoop,1>-------<hadoop,Iterable[1,1,1]>
     *      <hello,1><hello,1>-------------------<hello,Iterable[1,1]>
     */
    //重写父类的reduce方法
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
        //统计变量
        long count = 0;
        
        //遍历该组的values
        for (LongWritable value : values) {
            //累加计算总次数
            count += value.get();
        }
        //赋值
        outValue.set(count);

        //最终使用上下文输出结果
        context.write(key,outValue);
    }
}

WordCountDriver

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * Reduce阶段的处理类，对应进程中的ReduceTask
 * KEYIN:表示reduce阶段输入kv中的k类型，对应的是map输出的key，因此在本需求中就是单词 Text
 * VALUEIN:表示reduce阶段输入kv中的v类型, 对应的是map输出的value,因此在本需求中就是单词的次数1 LongWritable
 * KEYOUT:表示reduce阶段输出kv中的k类型， 跟业务相关，本需求中输出的是单词，因此是Text
 * VALUEOUT:表示reduce阶段输出kv中的v类型， 跟业务相关，本需求中输出的是单词的总次数，因此是LongWritable
 */
public class WordCountReducer extends Reducer<Text, LongWritable,Text,LongWritable> {

    private LongWritable outValue = new LongWritable();

    /**
     *todo  Q:当map的所有输出数据来到reduce之后，该如何调用reduce方法进行处理？
     *       <hello,1><hadoop,1><hello,1><hadoop,1><hello,1>
     *1、排序：规则：根据key的字典序进行排序 a-z
     *       <hadoop,1><hadoop,1><hadoop,1><hello,1><hello,1>
     *2、分组：规则：key相同的分为一组
     *       <hadoop,1><hadoop,1><hadoop,1>
     *       <hello,1><hello,1>
     *3、分组之后，同一组的数据组成一个新的kv键值对，调用一次reduce方法。reduce方法基于分组调用一个分组调用一次
     *      todo 同一组数据组成一个新的kv键值对
     *      新key：该组共同的key
     *      新value:该组所有的value组成的一个迭代器 Iterable
     *      <hadoop,1><hadoop,1><hadoop,1>-------<hadoop,Iterable[1,1,1]>
     *      <hello,1><hello,1>-------------------<hello,Iterable[1,1]>
     */
    //重写父类的reduce方法
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
        //统计变量
        long count = 0;
        
        //遍历该组的values
        for (LongWritable value : values) {
            //累加计算总次数
            count += value.get();
        }
        //赋值
        outValue.set(count);

        //最终使用上下文输出结果
        context.write(key,outValue);
    }
}

WordCountDriver使用工具类ToolRunner提交MapReduce作业

与上一个方法选一个即可，官方推荐用本方法

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 * 使用工具类ToolRunner提交MapReduce作业
 * 需要继承configured类，注意选hadoop下的，实现一个接口Tool
 */
public class WordCountDriver_v2 extends Configured implements Tool {
    public static void main(String[] args) throws Exception{
        //创建配置对象
        Configuration conf = new Configuration();
        //todo 使用工具类ToolRunner提交程序
        int status = ToolRunner.run(conf, new WordCountDriver_v2(),args);
        //退出客户端
        System.exit(status);
    }

    /**
     *ctrl + i ,实现run方法
     */
    @Override
    public int run(String[] args) throws Exception {
        //构造job作业的实例,参数（配置对象，job名字）
        Job job = Job.getInstance(getConf(), WordCountDriver_v2.class.getSimpleName());

        //设置mr程序运行的主类
        job.setJarByClass(WordCountDriver_v1.class);

        //设置本次mr程序的mapper类型、reducer类型
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //指定mapper阶段输出的key value数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        //指定reducer阶段输出的key value数据类型，也是mr程序最终的输出数据类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);

        //配置本次作业的输入数据路径和输出数据路径
        //todo 默认组件 TextInputFormat TextOutputFormat
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job,new Path(args[1]));

        return job.waitForCompletion(true)? 0:1;
    }
}
罗伊女士
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
大数据：Hadoop入门经典案例wordcount单词统计Java代码实现
2401_84181368的博客
04-15 626
，注意，在Hadoop2.8.3，Windows 10,64位环境下，编译出的jar包里面有两个文件夹：META-INF和license，如果直接运行将导致失败。4，通过start-all命令，启动Hadoop，如附录1中那样。bigdata_jar.jar包就是上面Java代码在第三步IntelliJ IDEA中生成的jar包。3，在IntelliJ IDEA中直接导出可运行的Java的jar包（具体方法见文章。如果不删除这两个文件夹，在jar包运行时候，会抛出错误导致运行失败。
【Hadoop】3、MapReduce以及WordCount
Alexander的博客
07-05 149
MapReduce是一种程序开发模式，可以使用大量服务器来进行并行处理。 Map分配工作，Reduce将工作结果汇总。 运作流程 1、Map将数据分割成若干份小数据，由每台服务器分别运行 2、Reduce将数据合并，汇总整理结果 示例：WordCount 计算文件中每个单词出现的次数 1、将以下代码复制进WordCount.java import java.io.IOException; impo...
mapreduce实现wordcount 详细解析
qq_38924865的博客
12-05 5370
总括 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实现。 HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算。 1、MapReduce整体流程 最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数
三十、MapReduce之wordcount案例(环境搭建及案例实施)
09-07 1046
环境： Hadoop2.6.0 IDEA maven3.5.4 案例分析： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。本项目用到的便是俗称Helloword的数据提取案例，官网源码见hadoop安装目录： /hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 注意：在w...
【hadoop学习】——MapReduce的WordCount案例代码简析
sw520lkm的博客
04-06 291
一、Map阶段部分： 获取文本中的所有单词，作为key，每个key对应的value为1，输出格式为<key,1>. 具体步骤：获取输入文本的每一行数据由Text类型转为String类型，将其以空格或逗号为分隔符切割为一个个单词放入String类型数组中，再将该数组中元素转为Text类型循环写出，每一个输出的key对应的value值为1. 【注意】： ①每一行数据都要调用一次map方法； ②将要输出的String类型的数据转Text类型时，将new Text()得到的outK放在map方法外面作为
WordCount实例以及在hdfs环境下运行
秦哥的博客
05-27 1342
目录 零、码仙励志 一、新建工程以及配置 二、编写需要处理的文件 三、代码实现 四、在HDFS上运行 零、码仙励志 讨厌自己明明不甘平凡，却又不好好努力 一、新建工程以及配置 请看下面链接的前三章 HDFS初级编程实践 二、编写需要处理的文件 按照我的目录来新建文件 output里面什么也不要放 input里面放文件 wordcount.txt的内容如...
MapReduce经典案例--WordCount代码
ztx22555的博客
11-11 1140
MapReduce经典案例--WordCount代码
Hadoop集群_WordCount运行详解--MapReduce编程模型
02-26
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分...　在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
MapReduce经典例子WordCount运行详解.pdf
11-27
《MapReduce经典例子WordCount运行详解》 MapReduce是一种分布式计算框架，由Google提出，主要用于处理和生成大规模数据集。其核心理念是“分而治之”，即将大任务拆分成可并行处理的小任务，再将各个节点的结果...
hadoop 运行成功代码（wordcount）
03-15
hadoop wordcount 实验，成功运行 maven项目（全部源代码）
Hadoop集群-WordCount运行详解
09-02
在linux环境下部署的Hadoop集群-WordCount运行详解。
wordCount实例
03-08
wordCount实例，是一个maven工程，对应的解说在http://blog.csdn.net/csdnliuxin123524/article/details/79469665，是我写的一个博客专栏
hadoop:WordCount词频统计以及倒排索引的hadoop实现
06-10
hadoop hadoop课程主页 这里是我的一些hadoop程序 最基本的wordcount，倒排索引，还有一个是对倒排索引的排序。数据用的是hadoop课程上给的武侠小说的数据。
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 共18页.pdf
03-20
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 本文档主要讲解了Hadoop集群的MapReduce编程模型和WordCount程序的运行详解。下面是相关的知识点： 1. MapReduce编程模型： * ...
WordCount详解
11-20
一般我们学习一门程序设计语言，最开始上手的程序都是“HelloWorld”， 可以说 WordCount 就是学习掌握 Hadoop MapReduce 编程的“Hello World”。 WordCount的功能是统计输人文件（也可以是输入文件夹内的多个文件...
使用Hadoop运行WorldCount示例
夏末_那场未盛开的梦的博客
09-21 7799
使用Hadoop运行WorldCount示例上一节中我们搭建好了Hadoop的运行环境，虽然还没开始学习Hadoop各个组件的框架原理，但是我先来通过hadoop运行自带的worldcount示例来熟悉一下它的操作流程。 1.首先找到hadoop自带worldcount jar包示例的路径： 2.准备工作，需要创建输入输出路径以及上传的文件： （1）创建目录 hadoop fs -mkdi
Hadoop之图解MapReduce与WordCount示例分析
热门推荐
大数据指北
01-21 1万+
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 　　HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实现。 　　HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算。 本文主要参考
mapreduce实例wordcount
最新发布
03-16
MapReduce实例WordCount是一个经典的例子，用于展示MapReduce的基本操作和功能。它的主要目的是计算给定文本中每个单词出现的次数。 在这个例子中，MapReduce框架将输入文本分成多个块，并将每个块分配给不同的Map任务。每个Map任务将输入块中的每个单词作为键，将其出现的次数作为值进行映射。然后，MapReduce框架将所有Map任务的输出合并在一起，并将相同键的值进行累加，以得到每个单词的总出现次数。 最后，MapReduce框架将结果写入输出文件中。这个例子展示了MapReduce框架的并行计算能力和数据处理能力，可以用于处理大规模的数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值