MapReduce自定义WordCount实现案例 （入门）

最新推荐文章于 2022-10-16 18:10:34 发布
最新推荐文章于 2022-10-16 18:10:34 发布
阅读量226 收藏 1
点赞数
分类专栏： apache-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SnowXu01/article/details/108543148
版权

1. 准备工作

1.1 远程文件准备

（1） 创建数据文件

[hadoop@hadoop181 ~]$ mkdir mapreduce
[hadoop@hadoop181 ~]$ cd mapreduce/

# 创建文件
[hadoop@hadoop181 mapreduce]$ vim wordcount.txt

# 新增文件内容
[hadoop@hadoop181 mapreduce]$ cat wordcount.txt 
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop
[hadoop@hadoop181 mapreduce]$

（2） 将数据文件上传hdfs

[hadoop@hadoop181 mapreduce]$ hdfs dfs -mkdir -p /wordcount/
[hadoop@hadoop181 mapreduce]$ hdfs dfs -put wordcount.txt /wordcount/
1.2 本地文件准备

（1） 项目路径下创建文件
在这里插入图片描述
（2）文件内容

hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

2. 创建模块

（1） 创建模块mapreduce-core ，pom文件以来信息如下

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>2.12.0</version>
        </dependency>
    </dependencies>
        <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>true</minimizeJar>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

（2）创建3个类文件 JobMain 任务启动类,Mapper实现类，Reducer实现类
在这里插入图片描述

3. 类实现

3.1 Mapper 类实现
package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * WordCount 案例演示 Mapper 实现，这个类需要重写map方法，主要做 k1，v2 ---> k2 , v2 的转换
 */
public class WordCountMapper extends Mapper<LongWritable, Text,Text,LongWritable> {

	@Override
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

		Text text = new Text();
		LongWritable longWritable = new LongWritable();

		// 分割字符串
		String[] split = value.toString().split(",");
		for (String word : split) {
			text.set(word);
			longWritable.set(1);
			context.write(text,longWritable);
		}
	}

}
3.1 Reducer 类实现
package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;


/**
 * WordCount 案例演示 Reducer 实现
 */
public class WordCountReducer extends Reducer<Text, LongWritable, Text,LongWritable> {
	/**
	 *
	 * @param key 新K2
	 * @param values 新V2 （集合）
	 * @param context 表示上下文对象
	 * @throws IOException
	 * @throws InterruptedException
	 */
	@Override
	protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
		long count = 0L;
		for (LongWritable value : values) {
			count += value.get();
		}
		context.write(key,new LongWritable(count));
	}
}
3.3 任务启动类实现

这个启动类有两种方式， 可以用ToolRunner.run(new Configuration(), new JobMain(), args); 就是我写的 JobMain 启动， 或者直接定义Driver,实现main方法类启动

（1） 方式1 （JobMain）实现

package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 *  执行任务主类的实现
 */
public class JobMain extends Configured implements Tool {

	@Override
	public int run(String[] strings) throws Exception {
		/*  获取 job 任务对象 */
		Configuration conf = super.getConf();
		Job job = Job.getInstance(conf,"wordCount");
		//  给集群用的， 如果是本地执行，不配置也可以，但是集群一定要设置
		job.setJarByClass(JobMain.class);

		/*  配置job 任务对象 */
		// 1. 指定文件读取方式和位置 New Path（"可以是远程路径 hdfs://"）
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("input/wordcount.txt"));

		// 2. 指定Map阶段的处理方式 （K2 V2）
		job.setMapperClass(WordCountMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);

		// 3. 指定Reduce阶段的处理方式（K3，V3）
		job.setReducerClass(WordCountReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		// 4. 设置输出类型，New Path（"可以是远程路径 hdfs://"）
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("output"));

		/*  提交任务，等待任务结束 */
		return job.waitForCompletion(true)? 0:1;
	}

	public static void main(String[] args) throws Exception {
		int run = ToolRunner.run(new Configuration(), new JobMain(), args);
		System.exit(run);
	}
}

(2) 方式2 Driver 实现

package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;

/**
 * Driver 实现
 */
public class Driver {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		/*  获取 job 任务对象 */
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf,"wordCount");
		//  给集群用的， 如果是本地执行，不配置也可以，但是集群一定要设置
		job.setJarByClass(Driver.class);

		/*  配置job 任务对象 */

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("input/wordcount.txt"));

		// 2. 指定Map阶段的处理方式 （K2 V2）
		job.setMapperClass(WordCountMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);

		// 3. 指定Reduce阶段的处理方式（K3，V3）
		job.setReducerClass(WordCountReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		// 4. 设置输出类型
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("output2"));

		/*  提交任务，等待任务结束 */
		boolean b = job.waitForCompletion(true);

		System.exit(b? 1 : 0);
	}
}

4. 本地测试

4.1 启动类JobMain测试

（1）生成文件位置
在这里插入图片描述
（2） 计算结果

4.1 启动类Driver测试

（1） 生成文件位置
在这里插入图片描述
（2） 生成文件内容
在这里插入图片描述

5. 远程测试

5.1 远程测试准备

(1) 修改JobMain类中输入输出路径为hdfs路径

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("hdfs://hadoop181:9000/wordcount/wordcount.txt"));

		// 8. 设置输出类型和路径
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("hdfs://hadoop181:9000/wcoutput1"));

(2) 修改Driver类中输入输出路径为hdfs路径

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("hdfs://hadoop181:9000/wordcount/wordcount.txt"));

		// 8. 设置输出类型和路径
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("hdfs://hadoop181:9000/wcoutput2"));

（3）打jar包，将打好的jar包上传到服务其任意路径（我这里上传到了$USER_HOME/路径）
在这里插入图片描述

5.2 测试JobMain启动

（1）启动命令

[hadoop@hadoop181 ~]$ hadoop jar original-mapreduce-core-1.0-SNAPSHOT.jar cn.learn.bigdata.mapreduce.JobMain

（2）测试结果

# 检查生成的文件
[hadoop@hadoop181 ~]$ hdfs dfs -ls -R /wcoutput1

# 显示文本文件内容
[hadoop@hadoop181 ~]$ hdfs dfs -text /wcoutput1/part-r-00000

（3） 效果图
在这里插入图片描述

5.3 测试 Driver 启动

（1）启动命令

[hadoop@hadoop181 ~]$ hadoop jar original-mapreduce-core-1.0-SNAPSHOT.jar cn.learn.bigdata.mapreduce.Driver

（2）测试结果

# 检查生成的文件
[hadoop@hadoop181 ~]$ hdfs dfs -ls -R /wcoutput2

# 显示文本文件内容
[hadoop@hadoop181 ~]$ hdfs dfs -text /wcoutput2/part-r-00000

（3） 效果图
在这里插入图片描述

6. 注意事项

6.1 集群环境setJar不设置会报错

在这里插入图片描述

思诺的小世界
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce之Word Count案例代码实现
QYHuiiQ
05-27 685
准备用于计算word count的数据文件 [root@hadoop01 test_data]# pwd /usr/local/wyh/test_data [root@hadoop01 test_data]# vi test_word_count.txt [root@hadoop01 test_data]# cat test_word_count.txt hello,world hadoop,world,sqoop hive,hello,hadoop,mysql welcome,hadoop 在HDF
大数据之hadoop中的MapReduce（WordCount实例）
a18379692263的博客
11-18 2337
1、概述 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 优点：易于编程（用户只关心业务逻辑即可）、良好的扩展性（可以动态增加服务器）、高容错性（任意一台机器挂掉，可以将任务转移到另一节点）、适合海量数据计算（PB/BP） 缺点：不擅长实时计算、不擅...
MapReduce入门以及WordCount案例
weixin_46628668的博客
10-16 835
MapReduce入门以及WordCount案例
MapReduce WordCount案例分析以及代码实现
zzq的博客
03-12 2784
环境参数：hadoop3.2.1、IDEA、maven3.6 案例分析 WordCount程序是学习Hadoop的入门程序，我们有必要详解一下。能够完整的运行WordCount程序需要如下步骤：本地的文本文件上传到HDFS上，WordCount程序实现MapReduce过程，输出结果到HDFS上。 首先来看一下WordCount简化的MapReduce工作过程(这个过程简化了许多)： ...
Apache Hadoop MapReduce WordCount案例编程入门
猫君之上的博客
03-13 386
一.MapReduce 简介 MapReduce作为Hadoop的三大组件(功能上分)之一，主要为提供大数据平台的分布式计算，虽然比较臃肿，只适合处理离线处理，但是对于理解spark等框架的原理架构会有很大帮助。 二.WordCount案例编写 为了测试方便，因此直接在windows10本地测试本案例 1.准备阶段 1）数据准备 wordCountdemo.rar 解压到某个文夹下，例如本...
手写WordCount案例和MapReduce入门
weixin_42442967的博客
08-03 441
自己实现入门的wordcount案例
MapReduce 入门案例wordcount
weixin_44387652的博客
05-31 357
MapReduce 入门案例wordcount1、单机版的wordcount2、修改单机版的wordcount（模拟MapReduce）3、MapReduce的wordcount跟踪3.1 MapReduce 包中wordcount实现4、自定义实现MapReduce中wordcount的三步走 1、单机版的wordcount 1、有5个文件，每个文件中存储的都是单词，每行多个单词之间使用\t进行分割的，求这5个文件中每一个单词出现的总次数。 （1）定义5个流，分别读取五个文件（一个方法调用）。 （2）定义
MapReduce编程入门案列-wordcount
Gopuwe的博客
11-18 409
一、MapReduce 介绍 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的 前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。 Reduce负责“合”，即对map阶段的结果进行全局汇总。 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。 MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。为程序员提供一个抽象和高层
MapReduce入门（一）—— MapReduce概述 + WordCount案例实操
热门推荐
小哨的博客
05-05 2万+
MapReduce入门（一）—— MapReduce概述 MapReduce知识点总览图 MapReduce入门（一）—— MapReduce 概述 1.1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 MapReduce 优缺点 1.2.1 优点 1
mapreduce的wordCount案例
11-15
在这个案例中，我们将深入理解MapReduce的工作原理，并通过WordCount的例子来解析其实现过程。 首先，MapReduce由两个主要阶段组成：Map阶段和Reduce阶段。Map阶段负责将输入数据分割成独立的键值对（key-value ...
Hadoop mapreduce实现wordcount
01-28
在这个案例中，我们将深入探讨如何在 Hadoop 环境中使用 MapReduce 实现 WordCount。 【描述】在 Hadoop 环境中，WordCount 的实现主要涉及两个关键阶段：Map 阶段和 Reduce 阶段。Map 阶段将原始输入数据（通常是...
MapReduce之Wordcount实现
10-22
Hadoop搭建 MapReduce之Wordcount代码实现 代码讲解，通俗易懂。
MapReduce自定义Key实现获取学生最高成绩 课程设计
01-06
这段Java代码是一个Hadoop MapReduce程序，用于处理输入数据并计算每个不同词汇的最高分数。它包含了配置和运行MapReduce作业的逻辑，以及Mapper和Reducer类的定义。主要功能是读取输入数据，将数据拆分成词汇和相关...
MapReduce - WordCount案例 - 含各种部署方式源码
06-25
本文将详细解析MapReduce在实现WordCount案例中的原理、步骤以及如何通过Java进行编程，并涵盖本地提交和远程调用的不同部署方式。 1. **MapReduce基本原理** MapReduce分为两个主要阶段：Map阶段和Reduce阶段。...
kechengsheji2021.zip
07-30
kechengsheji2021.zip
1cfa8b474c28bb76433ab12fc99ee5ad.jpeg
最新发布
07-30
1cfa8b474c28bb76433ab12fc99ee5ad.jpeg
TwineCompile571GetItSetup.7z
07-30
JomiTech TwineCompile 是一款集成在 C++Builder IDE 中的插件，旨在通过多种技术显著减少 C++ 编译、构建和生成的时间。以下是 TwineCompile 的一些关键能力和特点： 集成编译优化：TwineCompile 通过多线程、文件缓存和自动后台编译等技术，直接集成到 C++Builder IDE 中，优化编译过程。 编译器封装：它不是 C++ 编译器，而是将 Embarcadero 经典和 CLANG 编译器封装在一个构建系统中，优化文件和项目的构建方式。 IDE 支持：TwineCompile 通过 GetIt 包管理器提供，支持安装它的 IDE。对于旧版 IDE 或没有活跃更新订阅的 IDE，可以购买许可证以获得支持。 版本兼容性：TwineCompile 5.x 支持 C++Builder 10.2 至 C++Builder 12.0，而 TwineCompile 4.x 支持 C++Builder 5 至 C++Builder 10.1。
SCI一区】淘金算法GRO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5642.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
"深入理解MapReduce编程模型及wordcount实现
总的来说，本文详细介绍了MapReduce编程模型以及WordCount示例的实现过程，展示了MapReduce框架在大数据处理领域的重要作用。通过学习和掌握MapReduce框架，我们可以更高效地处理大规模数据，提高数据处理的效率和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值