Hadoop 之Mapreduce wordcount词频统计案例（详解）

最新推荐文章于 2024-05-24 09:45:00 发布
最新推荐文章于 2024-05-24 09:45:00 发布
阅读量8.8k 收藏 111
点赞数 18
分类专栏： hadoop+spark 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44947339/article/details/105032772
版权

阅读目录

  • MapReduce是什么？
    Map Reduce是Google公司开源的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce采用“分而治之”思想，把对大规模数据集的操作，分发给一个主节点管理下的各个子节点共同完成，然后整合各个子节点的中间结果，得到最终的计算结果。

  • MapReduce实现WordCount的实现思路：
    将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理（按行读入），每出现一个单词就标记一个数字1，经过在map函数处理，输出中间结果<单词,1>的形式，并在reduce函数中完成对每个单词的词频统计。

软件：IntelliJ IDEA

一、创建项目 ：example-hdfs

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、项目目录

在这里插入图片描述

三、WordCountMapper.class

继承Mapper类实现自己的Mapper类，并重写map()方法

package cn.it.cast.hadoop.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> {
    @Override   
    //每传入一个<k,v>,该方法就被调用一次
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //拿到传入的传入进来的一行内容，把数据类型转化为String
        String line = value.toString();
        //将这一行内容按照分隔符进行一行内容的切割，切割成一个单词数组
        String[] words = line.split(" ");
        //遍历数组，每出现一个单词，就标记一个数字1，<单词，1>
        for(String word:words){
            context.write(new Text(word),new IntWritable(1));
        }//使用mr程序的上下文context，把Map阶段处理的数据发送出去，作为reduce节点的输入数据
    }
}

四、WordCountReducer.class

继承Reducer类，实现自己的Reduce类，并重写reduce（）方法

package cn.it.cast.hadoop.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable, Text,IntWritable> {
    @Override
    //reduce接收所有来自map阶段处理的数据之后，按照key的字典序进行排序
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //定义一个计数器
        int count = 0;
        //遍历一组迭代器，把每一个数量1累加起来就构成了单词的总次数
        for(IntWritable value:values){
            count += value.get();
        }
        //把最终结果输出
        context.write(key,new IntWritable(count));
    }
}

五、WordCounfDriver.class

程序主入口类：

package cn.it.cast.hadoop.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {
    //把job提交给集群去运行
    public static void main(String[] args) throws Exception{
//        System.setProperty("HADOOP_USER_NAME", "root");
        Job job = Job.getInstance(new Configuration());
        //指定我这个job所在的jar包
        job.setJarByClass(WordCountDriver.class);
        //指定本次mr 所用的mapper reduce类分别是什么
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        //指定本次mr mapper阶段的输出 k v类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //指定本次mr 最终输出的 k v类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //指定本次mr 输入的数据路径，和最终输出结果存放在什么位置
        FileInputFormat.setInputPaths(job,new Path(args[0]));
        FileOutputFormat.setOutputPath(job,new Path(args[1]));
        //提交程序，并且监控打印程序执行的结果
        boolean b = job.waitForCompletion(true);
        System.exit(b?0:1);
    }
}

六、pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>example-mr</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>C:/Program Files/Java/jdk1.8.0_131/lib/tools.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.2.1</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib</classpathPrefix>
                            <mainClass>cn.it.cast.hadoop.mr.WordCountDriver</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

七、打包jar包

在这里插入图片描述
在target目录有我们刚刚打包的jar（为了方便，重命名 wc.jar)
在这里插入图片描述

八、在SecureCRT软件上传刚刚生成的jar包

把jar包拖动到主节点上
在这里插入图片描述
在这里插入图片描述

九、运行

编写data1.txt 文件
vi data1.txt

hello hadoop
hadoop spark

创建目录/input

hadoop fs mkdir -p /input

上传文件到 /input

hadoop fs -put data1.txt /input

执行 jar包

 hadoop jar wc.jar /input/data1.txt /output/wc

在这里插入图片描述
查看结果：

hadoop fs -cat /output/wc/part-r-00000

在这里插入图片描述
在网页中可以看到生成两个文件
在这里插入图片描述

十、 解决问题：

1、 yum -y install lrzsz
在这里插入图片描述
2、如果运行jar包遇到图片的问题
在这里插入图片描述
可以在每个节点的mapred-site.xml添加以下内容
（/usr/local/hadoop改成你安装hadoop的路径！）

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
忌颓废
关注
  • 18
    点赞
  • 踩
  • 111
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop调用MapReduce进行词频统计
MidnightFancy的博客
12-19 5121
Hadoop调用MapReduce进行词频统计博客目录一.案例1.实验目的2.分析步骤二.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu中安装Hadoop和Eclipse三.具体步骤1.下载保存文本文件2.将文本文件传输至HDFS3.启动软件Eclipse4.新建Java工程5.为项目添加需要用到的JAR包6.新建类7.编写Java应用程序8.编译打包程序9.在终端中运行程序10.上传文本文件至HDFS11.在终端中使用jar包运行程序12.
【hadoop大作业】调用MapReduce对文件中各个单词出现的次数进行统计
weixin_52573171的博客
12-30 2254
一、环境介绍 使用VirtualBox安装Ubuntu虚拟机。在Ubuntu中安装Hadoop和Eclipse3.8编译器。下载安装JAVA环境，下载jdk并完成Hadoop的伪分布式环境配置。在Eclipse中导入编译程序所遇到的所有需要的JAR包。启动hadoop，网站中下载 hadoop-eclipse-plugin且解压并添加进Eclipss使在Eclipse中可以成功编译运行MapReduce程序。 二、导入jar包 需要导入的jar包有 （1）“/usr/local...
【Hadoop】MapReduce案例——词频统计
啥也不会~
04-21 3856
MapReduce案例——词频统计
大数据实训（三）——MapReduce编程实例：词频统计
最新发布
weixin_74137248的博客
05-24 999
http://t.csdnimg.cn/OySPS
MapReduce 初识+案例（词频统计）
weixin_47243236的博客
11-23 4908
1. MapReduce 1.1 MapReduce 是什么 MapReduce：是 Hadoop 中的一个分布式计算框架，基于 MapReduce 写出的应用程序能够运行在大型集群上，并以一种可靠容错的方式并行处理上 T 级别的数据集。 一个 MapReduce 作业（Job）通常会把输入的数据切分为若干个独立的数据块，由 Map 任务（Task）以完全并行的方式处理它们。框架会对 Map 的输出先进行排序，然后把结果输入给 Reduce 任务，通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任
HADOOP集群大数据词频统计及设计比较（完整教程）
weixin_64420247的博客
08-29 7671
wordcount加了combiner的代码后，运行效率提高了。
大数据之hadoop 环境搭建从零开始——WordCount词频计数入门实战训练
gaofengyan的博客
01-04 1628
        这里的前提是要先安装一个干净的CentOS系统，我这里用的是CentOS6.6，安装教程参考另一篇博客：https://blog.csdn.net/gaofengyan/article/details/85054337 目录 hadoop 环境搭建 2.3 Hadoop 集群搭建 1. 安装hadoop 2. 格式化与启动 3. hdfs 命令 4.  安装eclip...
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
Hadoop集群_WordCount运行详解--MapReduce编程模型
02-26
　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。　在分布式计算...
006_hadoop中MapReduce详解_3
08-06
总的来说，"006_hadoop中MapReduce详解_3"可能涵盖了MapReduce的高级话题，包括优化技巧、错误处理和实战案例分析。通过阅读`TestMR.java`和`WordCount.java`的源代码，我们可以深入理解MapReduce的编程模型和实现...
Hadoop入门脚本WordCount
03-05
《Hadoop入门脚本WordCount详解》 在大数据处理领域，Hadoop是一个不可或缺的重要工具，它的分布式计算模型为海量数据的处理提供了强大的支持。而WordCount则是Hadoop入门的经典示例，通过它，我们可以深入理解...
MapReduce经典例子WordCount运行详解.pdf
11-27
《MapReduce经典例子WordCount运行详解》 MapReduce是一种分布式计算框架，由Google提出，主要用于处理和生成大规模数据集。其核心理念是“分而治之”，即将大任务拆分成可并行处理的小任务，再将各个节点的结果...
MapRecuce 词频统计案例
m0_72168501的博客
12-13 2350
MapReduce词频统计案例
MapReduce编程实例——词频统计实现
weixin_64272885的博客
12-14 3362
MapReduce编程实例——词频统计实现
python学习---001/002
Carol_Luobo的博客
09-08 319
第一讲 0.什么是BIF ////Python的内置函数 1.用课堂上小甲鱼教的方法数一数Python3提供了多少BIF？ //////68 在IDLE中，输入dir(builtins) 前后是2个下划线 查看详细的BIF功能，在shell–IDLE中输入help(input) 2.关于"FishC"与"fishC"有区别吗 Python严格区分大小写 3.3.Python中什么是最重要的？ 缩进—tab ** 4.=与==的区别 一个是赋值，2个是等于 ** 5 拼接的意思？ l两种类型拼接在一起 动手：
MapReduce原理及编程（含词频统计编程实例）
小财迷嘻嘻的博客
09-10 3254
1、MapReduce基础 1、什么是MapReduce 是一个分布式计算框架，它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务； 适用于大规模数据处理场景； 每个节点处理存储在该节点的数据。 2、MapReduce的设计思想 1、分而治之 简化并行计算的编程模型 2、构建抽象模型map和reduce 开发人员专注于实现Mapper和Reducer函数 3、隐藏系统层细节 开发人员专注于业务逻辑实现 3、MapReduce特点 1、优点 易于编程 可扩展性 高容错性 高吞吐量 2、不适用领域 难
Hadoop 之Mapreduce wordcount词频统计案例
Dangerous的博客
08-05 7937
首先我们来看一张描述MapReduce运行过程的图。 首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping：把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing：对每个节点的word进行统计。 以上就是简单的Mapreduce作业过程。下面看下官网的介绍： A MapReduce job ...
调用MapReduce对文件中各个单词出现次数进行统计
weixin_48073650的博客
12-17 1725
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 操作步骤：调用MapReduce执行WordCount对单词进行计数** 一： • 1. 在Eclipse中创建项目 • 2. 为项目添加需要用到的JAR包 • 3. 编写Java应用程序 • 4. 编译
MapReduce实例 - 实现词频统计
weixin_47316344的博客
07-02 5576
一、MapReduce基础 ## MapReduce概述? 1、MapReduce是一个分布式计算框架 它将大型数据操作作业分解为可以跨服务器集群并行执行的 单个任务。 起源于Google 2、适用于大规模数据处理场景 每个节点处理存储在该节点的数据 3、每个job包含Map和Reduce两部分 4、MapReduce 的设计目标是方便编程人员在不熟悉分布式并行开发的情况下，将编写的程序运行在分布式系统上，从而降低了分布式开发的入门门槛。 MapReduce特点 优点 易于编程 可扩展性 高容错性
hadoop mapreduce单词词频统计
05-17
Hadoop MapReduce单词词频统计可以通过以下步骤实现： 1.编写Mapper类 Mapper类是MapReduce程序的核心组件之一，负责将输入数据划分为多个键值对，其中键表示输入记录的任意标识符，值表示输入记录的内容。对于单词词频统计程序，我们需要在Mapper中将每个单词作为键，将出现次数作为值输出。以下是一个简单的Mapper类实现： ```java public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } ``` 在上面的代码中，我们使用Java的StringTokenizer工具类将每行输入数据拆分为单个单词，并将它们作为键输出，出现次数作为值输出。其中，Mapper的输入键值对类型为LongWritable和Text，输出键值对类型为Text和IntWritable。 2.编写Reducer类 Reducer类是MapReduce程序的另一个核心组件，负责将Mapper输出的键值对进行归约，以便生成最终的输出结果。对于单词词频统计程序，我们需要在Reducer中计算每个单词在输入数据中出现的总次数，并将其作为输出结果。以下是一个简单的Reducer类实现： ```java public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } } ``` 在上面的代码中，我们将Reducer的输入键值对类型设置为Text和IntWritable，输出键值对类型也为Text和IntWritable。Reducer接收到的每个键值对都包含一个单词和它在输入数据中出现的次数列表。我们可以遍历这个列表并计算出总次数，然后将其作为值输出。 3.编写Driver类 Driver类是MapReduce程序的控制器，负责设置和启动MapReduce作业的各个组件。以下是一个简单的Driver类实现： ```java public class WordCountDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在上面的代码中，我们首先创建一个Configuration对象，并使用它来创建一个Job对象。我们通过setJarByClass()方法指定程序的入口点，并使用setMapperClass()、setCombinerClass()和setReducerClass()方法设置Mapper、Combiner和Reducer类。我们还使用setOutputKeyClass()和setOutputValueClass()方法指定Mapper和Reducer的输出键值对类型。最后，我们使用FileInputFormat.addInputPath()和FileOutputFormat.setOutputPath()方法设置输入和输出路径，并调用job.waitForCompletion()方法提交作业并等待其完成。 4.运行程序 最后，我们可以使用hadoop jar命令来运行MapReduce程序，并将输入数据和输出路径作为命令行参数传递： ``` hadoop jar WordCount.jar WordCountDriver input output ``` 其中，WordCount.jar是打包后的程序文件，WordCountDriver是程序的入口点类，input是输入数据的路径，output是输出结果的路径。运行程序后，我们可以在指定的输出路径中看到生成的结果文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值