MapReduce自定义WordCount实现案例 （入门）

最新推荐文章于 2021-11-18 11:29:55 发布
最新推荐文章于 2021-11-18 11:29:55 发布
阅读量249 收藏 1
点赞数
分类专栏： apache-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SnowXu01/article/details/108543148
版权

1. 准备工作

1.1 远程文件准备

（1） 创建数据文件

[hadoop@hadoop181 ~]$ mkdir mapreduce
[hadoop@hadoop181 ~]$ cd mapreduce/

# 创建文件
[hadoop@hadoop181 mapreduce]$ vim wordcount.txt

# 新增文件内容
[hadoop@hadoop181 mapreduce]$ cat wordcount.txt 
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop
[hadoop@hadoop181 mapreduce]$

（2） 将数据文件上传hdfs

[hadoop@hadoop181 mapreduce]$ hdfs dfs -mkdir -p /wordcount/
[hadoop@hadoop181 mapreduce]$ hdfs dfs -put wordcount.txt /wordcount/
1.2 本地文件准备

（1） 项目路径下创建文件
在这里插入图片描述
（2）文件内容

hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

2. 创建模块

（1） 创建模块mapreduce-core ，pom文件以来信息如下

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>2.12.0</version>
        </dependency>
    </dependencies>
        <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>true</minimizeJar>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

（2）创建3个类文件 JobMain 任务启动类,Mapper实现类，Reducer实现类
在这里插入图片描述

3. 类实现

3.1 Mapper 类实现
package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * WordCount 案例演示 Mapper 实现，这个类需要重写map方法，主要做 k1，v2 ---> k2 , v2 的转换
 */
public class WordCountMapper extends Mapper<LongWritable, Text,Text,LongWritable> {

	@Override
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

		Text text = new Text();
		LongWritable longWritable = new LongWritable();

		// 分割字符串
		String[] split = value.toString().split(",");
		for (String word : split) {
			text.set(word);
			longWritable.set(1);
			context.write(text,longWritable);
		}
	}

}
3.1 Reducer 类实现
package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;


/**
 * WordCount 案例演示 Reducer 实现
 */
public class WordCountReducer extends Reducer<Text, LongWritable, Text,LongWritable> {
	/**
	 *
	 * @param key 新K2
	 * @param values 新V2 （集合）
	 * @param context 表示上下文对象
	 * @throws IOException
	 * @throws InterruptedException
	 */
	@Override
	protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
		long count = 0L;
		for (LongWritable value : values) {
			count += value.get();
		}
		context.write(key,new LongWritable(count));
	}
}
3.3 任务启动类实现

这个启动类有两种方式， 可以用ToolRunner.run(new Configuration(), new JobMain(), args); 就是我写的 JobMain 启动， 或者直接定义Driver,实现main方法类启动

（1） 方式1 （JobMain）实现

package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 *  执行任务主类的实现
 */
public class JobMain extends Configured implements Tool {

	@Override
	public int run(String[] strings) throws Exception {
		/*  获取 job 任务对象 */
		Configuration conf = super.getConf();
		Job job = Job.getInstance(conf,"wordCount");
		//  给集群用的， 如果是本地执行，不配置也可以，但是集群一定要设置
		job.setJarByClass(JobMain.class);

		/*  配置job 任务对象 */
		// 1. 指定文件读取方式和位置 New Path（"可以是远程路径 hdfs://"）
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("input/wordcount.txt"));

		// 2. 指定Map阶段的处理方式 （K2 V2）
		job.setMapperClass(WordCountMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);

		// 3. 指定Reduce阶段的处理方式（K3，V3）
		job.setReducerClass(WordCountReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		// 4. 设置输出类型，New Path（"可以是远程路径 hdfs://"）
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("output"));

		/*  提交任务，等待任务结束 */
		return job.waitForCompletion(true)? 0:1;
	}

	public static void main(String[] args) throws Exception {
		int run = ToolRunner.run(new Configuration(), new JobMain(), args);
		System.exit(run);
	}
}

(2) 方式2 Driver 实现

package cn.learn.bigdata.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;

/**
 * Driver 实现
 */
public class Driver {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		/*  获取 job 任务对象 */
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf,"wordCount");
		//  给集群用的， 如果是本地执行，不配置也可以，但是集群一定要设置
		job.setJarByClass(Driver.class);

		/*  配置job 任务对象 */

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("input/wordcount.txt"));

		// 2. 指定Map阶段的处理方式 （K2 V2）
		job.setMapperClass(WordCountMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);

		// 3. 指定Reduce阶段的处理方式（K3，V3）
		job.setReducerClass(WordCountReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		// 4. 设置输出类型
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("output2"));

		/*  提交任务，等待任务结束 */
		boolean b = job.waitForCompletion(true);

		System.exit(b? 1 : 0);
	}
}

4. 本地测试

4.1 启动类JobMain测试

（1）生成文件位置
在这里插入图片描述
（2） 计算结果

4.1 启动类Driver测试

（1） 生成文件位置
在这里插入图片描述
（2） 生成文件内容
在这里插入图片描述

5. 远程测试

5.1 远程测试准备

(1) 修改JobMain类中输入输出路径为hdfs路径

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("hdfs://hadoop181:9000/wordcount/wordcount.txt"));

		// 8. 设置输出类型和路径
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("hdfs://hadoop181:9000/wcoutput1"));

(2) 修改Driver类中输入输出路径为hdfs路径

		// 1. 指定文件读取方式和位置
		job.setInputFormatClass(TextInputFormat.class);
		TextInputFormat.addInputPath(job,new Path("hdfs://hadoop181:9000/wordcount/wordcount.txt"));

		// 8. 设置输出类型和路径
		job.setOutputFormatClass(TextOutputFormat.class);
		TextOutputFormat.setOutputPath(job,new Path("hdfs://hadoop181:9000/wcoutput2"));

（3）打jar包，将打好的jar包上传到服务其任意路径（我这里上传到了$USER_HOME/路径）
在这里插入图片描述

5.2 测试JobMain启动

（1）启动命令

[hadoop@hadoop181 ~]$ hadoop jar original-mapreduce-core-1.0-SNAPSHOT.jar cn.learn.bigdata.mapreduce.JobMain

（2）测试结果

# 检查生成的文件
[hadoop@hadoop181 ~]$ hdfs dfs -ls -R /wcoutput1

# 显示文本文件内容
[hadoop@hadoop181 ~]$ hdfs dfs -text /wcoutput1/part-r-00000

（3） 效果图
在这里插入图片描述

5.3 测试 Driver 启动

（1）启动命令

[hadoop@hadoop181 ~]$ hadoop jar original-mapreduce-core-1.0-SNAPSHOT.jar cn.learn.bigdata.mapreduce.Driver

（2）测试结果

# 检查生成的文件
[hadoop@hadoop181 ~]$ hdfs dfs -ls -R /wcoutput2

# 显示文本文件内容
[hadoop@hadoop181 ~]$ hdfs dfs -text /wcoutput2/part-r-00000

（3） 效果图
在这里插入图片描述

6. 注意事项

6.1 集群环境setJar不设置会报错

在这里插入图片描述

思诺的小世界
关注
专栏目录
MapReduce之Word Count案例代码实现
QYHuiiQ
05-27 729
准备用于计算word count的数据文件 [root@hadoop01 test_data]# pwd /usr/local/wyh/test_data [root@hadoop01 test_data]# vi test_word_count.txt [root@hadoop01 test_data]# cat test_word_count.txt hello,world hadoop,world,sqoop hive,hello,hadoop,mysql welcome,hadoop 在HDF
MapReduce模型--自定义数据类型
05-28
通过自定义数据类型，可以使用Hadoop处理单表数据查询以及多表相互关联的应用场景。
MapReduce之自定义WordCount案例
chen7588693的博客
12-13 391
在一堆给定的文本文件中统计输出每一个单词出现的总次数。 1.分析 mapper阶段： 将mapstack 传给我们的文本信息内容先转换成string。 根据空格将一行切分成单词。 将单词输出为&lt;单词，1&gt;的格式。 reducer阶段 汇总各个key的个数 输出该key的总数 driver阶段 获取配置信息 指定本程序的jar所在的本地路径 关联mapper和reducer类 ...
MapReduce基础-自定义WordCount过程
www666_的博客
05-02 350
hadoop自带的wordcount应用：&gt;1）本地文件hello.txt cat hello.txt2）复制文件：cp hello.txt hello2.txt3）在远程创建d3文件夹hadoop@Master:/usr/local/hadoop/share/hadoop/mapreduce$ hadoop fs -mkdir /user/hadoop/d34）分别将本地的hello.tx...
Mapreduce自定义数据类型
IT晓白
10-15 561
Hadoop自带的数据类型： Intwritable,LongWritable,Text,xxWritable.   某些情况下：使用自定义的数据类型方便一些（类似java中的pojo）。 实现： 实现writableComparable接口即可。 场景例如： 成绩表：由语文，数学，英文组成。 上传到hdfs上score目录下一个score.txt文件--文件内容如下： 想...
Hadoop之MapReduce02【自定义wordcount案例】
波波烤鸭的博客
04-03 1703
创建MapperTask   创建一个java类继承Mapper父类 接口形参说明 参数 说明 K1 默认是一行一行读取的偏移量的类型 V1 默认读取的一行的类型 K2 用户处理完成后返回的数据的key的类型 V2 用户处理完成后返回的value的类型 注意数据经过网络传输，所以需要序列化 数据类型 序列化类型 Integer IntWritabl...
大数据之hadoop中的MapReduce（WordCount实例）
a18379692263的博客
11-18 2426
1、概述 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 优点：易于编程（用户只关心业务逻辑即可）、良好的扩展性（可以动态增加服务器）、高容错性（任意一台机器挂掉，可以将任务转移到另一节点）、适合海量数据计算（PB/BP） 缺点：不擅长实时计算、不擅...
MapReduce 入门案例wordcount
weixin_44387652的博客
05-31 470
MapReduce 入门案例wordcount1、单机版的wordcount2、修改单机版的wordcount（模拟MapReduce）3、MapReduce的wordcount跟踪3.1 MapReduce 包中wordcount实现4、自定义实现MapReduce中wordcount的三步走 1、单机版的wordcount 1、有5个文件，每个文件中存储的都是单词，每行多个单词之间使用\t进行分割的，求这5个文件中每一个单词出现的总次数。 （1）定义5个流，分别读取五个文件（一个方法调用）。 （2）定义
MapReduce经典案例--WordCount 代码（实测可以运行）
qq_34478594的博客
04-28 1709
MapReduce经典案例--WordCount代码 一.MapReduce工作的三阶段 1.Map阶段 map阶段将要处理的任务切分成一个个的MapTask，每个MapTask各自计算自己负责计算的内容，也就是将计算分布式。 map阶段有两步： 1.设置TextInputFormat类，将数据切分为<k1,v1>,输入到第二步。这里k1和v1的切分由hadoop框架帮我们完...
MapReduce入门案例.rar
12-16
在这个“MapReduce入门案例.rar”压缩包中，包含了五个基础的MapReduce编程示例，帮助初学者理解并掌握MapReduce的工作原理和用法。 1. 统计单词的个数： 这是最经典的MapReduce案例，通常被称为WordCount。在Map...
Hadoop读书笔记（六）MapReduce自定义数据类型demo
xlin
11-25 120
  Hadoop读书笔记（一）Hadoop介绍：http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记（二）HDFS的shell操作：http://blog.csdn.net/caicongyang/article/details/41253927 Hadoop读书笔记（三）Java API操作HDFS：ht...
自定义实现MapReduce中的wordcount功能导出jar使用
CC
12-24 548
创建Maven项目 选择默认路径 maven 下一步 设置项目名称和包 修改pom文件 修改后内容如下 pom.xml 文件 &amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; xsi:schem...
自定义wordCount程序、
weixin_30314631的博客
12-26 156
1.MyWordCount代码： package com.hadoop.mr; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; ...
MapReduce自定义数据类型
everl_1的专栏
09-04 3474
实现WritableComparable接口的类大多数（在io包中的都可以）可以作为MapReduce中Mapper或Reducer的key-value数据类型。在hadoop框架中自带实现WritableComparable接口的类（FlowBean是自定义的）有： 可以看出，自带的类实现了对整形，浮点型，布尔型及String（Text类）的封装，都是比较简单的数据类型，在实际应用中通常需
自定义MapReduce中数据类型
weixin_30699443的博客
07-07 113
数据类型(都实现了Writable接口) BooleanWritable 布尔类型 ByteWritable 单字节数值 DoubleWritable 双字节数值 FloatWritable 浮点数 IntWritable 整型数 LongWritable 长整型 Text UTF-8格式存储的...
MapReduce案例-自定义数据类型
weixin_30684743的博客
07-01 108
统计第一季度用户的手机上网流量，通话时间，短信数量。 数据格式： 电话 流量 时间 短信数 这里自定义了一个类实现writable接口，用来读取数据。 package demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apac...
MapReduce案例：组合键、自定义分组器实现不同文件中的WordCount
Jodness' Blogs
07-19 784
需求：统计单词分别在不同文件中出现频率 组合键：单词-文件名 import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableComparable;...
mapreduce实现wordcount案例
最新发布
09-26
WordCount是一个经典的MapReduce示例，其目的是统计给定文本文件中每个单词出现的次数。下面是WordCount的基本步骤： 1. **Map阶段**： - 输入：原始文本行 - 输出键值对：键为单词，值为1（每行只有一个单词） ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值