wordcount在mapreduce的例子

已于 2025-05-18 15:49:02 修改
阅读量547 收藏 4
点赞数 2
文章标签： mapreduce 大数据
于 2025-05-12 22:15:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hellolianhua/article/details/147905988
版权

1.启动集群

2.创建项目

 项目结构为：

3.pom.xml文件为

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>org.example</groupId>
  <artifactId>mapReduceTest</artifactId>
  <packaging>war</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>mapReduceTest Maven Webapp</name>
  <url>http://maven.apache.org</url>
  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <version>2.12.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.1.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>3.1.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>3.1.3</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>3.1.3</version>
      <exclusions>
        <!-- ’d Log4j 1.x -->
        <exclusion>
          <groupId>log4j</groupId>
          <artifactId>log4j</artifactId>
        </exclusion>
        <!-- ’d SLF4J ’ Log4j 1.x „e¥ -->
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
  </dependencies>
  <build>
    <finalName>mapReduceTest</finalName>
  </build>
</project>

4.WordCountMapper代码为

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> {
    @Override
    protected void map(LongWritable key1,Text value1,Context context) throws IOException, InterruptedException {
        String data=value1.toString();
        String[] words=data.split(" ");
        for(String w:words){
            context.write(new Text(w),new IntWritable(1));
        }
    }

}

5.WordCountReduce代码为：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReduce extends Reducer<Text,IntWritable,Text,IntWritable> {
    @Override
    protected void reduce(Text k3,Iterable<IntWritable> v3,Context context) throws IOException, InterruptedException {
        int total=0;
        for(IntWritable v:v3){
            total+=v.get();
        }
        context.write(k3,new IntWritable(total));
    }
}

6.WordCountMain代码为：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;

public class WordCountMain {
    public static void main(String[] args) throws Exception {
        Job job = Job.getInstance(new Configuration());
        job.setJarByClass(WordCountMain.class);

        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setReducerClass(WordCountReduce.class);
        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job, new Path("hdfs://172.18.0.2:9000/input"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://172.18.0.2:9000/WordCountOutput"));

        job.waitForCompletion(true);
    }
}

7.测试结果

本地测试：

运行这个main,可以看到

用shell脚本可以查看

 

 集群测试：

pom.xml需要设置build部分

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>org.example</groupId>
  <artifactId>mapReduceTest</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>mapReduceTest Maven Webapp</name>
  <url>http://maven.apache.org</url>
  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <version>2.12.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.1.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>3.1.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>3.1.3</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>3.1.3</version>
      <exclusions>
        <!-- ’d Log4j 1.x -->
        <exclusion>
          <groupId>log4j</groupId>
          <artifactId>log4j</artifactId>
        </exclusion>
        <!-- ’d SLF4J ’ Log4j 1.x „e¥ -->
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
  </dependencies>
  <build>
    <finalName>mapReduceTest</finalName>
    <plugins>
    <plugin>
      <artifactId>maven-compiler-plugin</artifactId>
      <version>2.3.2</version>
      <configuration>
        <source>1.8</source>
        <target>1.8</target>
      </configuration>
    </plugin>
    <plugin>
      <artifactId>maven-assembly-plugin </artifactId>
      <configuration>
        <descriptorRefs>
          <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
        <archive>
          <manifest>
            <mainClass>WordCountMain</mainClass>
          </manifest>
        </archive>
      </configuration>
      <executions>
        <execution>
          <id>make-assembly</id>
          <phase>package</phase>
          <goals>
            <goal>single</goal>
          </goals>
        </execution>
      </executions>
    </plugin>
    </plugins>
  </build>
</project>

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;

public class WordCountMain {
    public static void main(String[] args) throws Exception {
        Job job = Job.getInstance(new Configuration());
        job.setJarByClass(WordCountMain.class);

        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setReducerClass(WordCountReduce.class);
        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

//        FileInputFormat.setInputPaths(job, new Path("hdfs://172.18.0.2:9000/input"));
//        FileOutputFormat.setOutputPath(job, new Path("hdfs://172.18.0.2:9000/WordCountOutput"));

        FileInputFormat.setInputPaths(job, new Path(args[1]));
        FileOutputFormat.setOutputPath(job, new Path(args[2]));


        job.waitForCompletion(true);
    }
}

使用mvn生成jar包

生成了target的文件

使用下面的命令，将cg服务器的jar包上传到master上面。

# 确保你已在本地（cg）操作，直接使用本地路径
scp /root/IdeaProjects/mapReduceTest/target/mapReduceTest-jar-with-dependencies.jar root@172.18.0.2:/usr/local/hadoop

密码是：83953588abc

在master上运行代码

hadoop jar mapReduceTest-jar-with-dependencies.jar /input /wcoutputhdfs1

hadoop jar mapReduceTest.jar WordCountMain /input /wcoutputhdfs1

hellolianhua
关注
MapReduce之WordCount案例
congge
01-01 1万+
MapReduce之WordCount案例
WordCount_MapReduce:在 Hadoop 上运行的 MapReduce 程序
07-08
在 WordCount 的例子中，Map 阶段的工作是对输入文本中的每一行进行拆分，将单词作为键，出现次数为 1 的值。例如，对于输入 "Hello World Hello"，Map 函数会生成键值对 ("Hello", 1), ("World", 1)。 Reduce 阶段...
mapreduce-wordcount程序2
2402_87076449的博客
05-12 932
uce函数的入参是kv结构，k是单词，v是集合，每个元素值都是1。reduce函数的返回值格式也是kv结构，k是每个单词，v是汇总之后的数字。此时要注意，我们的程序并没有使用集群中的资源，在yarn中看不到运行的任务，我们也没有把结果保存在hdfs中。请注意Mapper的来源，它是mapreduce.Mapper，而不是mapred.Mapper。map函数的入参是kv结构，k是偏移量，v是一行的具体内容。map函数的返回值格式也是kv结构，k是每个单词，v是数字1。它的核心代码有7个步骤,属于固定写法。
MapReduce 入门实战：WordCount 程序
2301_80870395的博客
05-13 875
文章先介绍了 MapReduce 的基础，包括 Map、Reduce 阶段及 Shuffle 和 Sort 阶段的作用。接着，阐述了 WordCount 程序用于统计文本单词出现频率的需求和应用场景。随后，详细展示了使用 Java 编写的 MapReduce 版本 WordCount 程序代码，解释了 Map 类、Reduce 类和主类的实现逻辑。还涵盖了程序的编译、运行步骤以及如何查看运行结果。此外，探讨了大小写敏感处理、自定义分隔符、Combiner 性能优化等拓展与优化方向。这篇博客帮助读者全面理解
MapReduce--实现WordCount
qq_46893497的博客
12-04 770
MapReduce实现WordCount 1、需求 基于MapReduce开发实现对文件中的单词进行统计，统计每个单词出现的次数 将程序写好以后，打成jar包，上传到Linux中，提交给YARN运行 2、分析 Input： /wordcount/input/wordcount.txt 将每一行数据变成一个keyvalue value就是这一行的内容 Map： 将value进行分割，得到每个单词，将单词作为key，1作为value输出 Shuffle： 分组：按照单词做分组，相同单词的value
10. MapReduce实现wordcount
cl2010abc的专栏
10-24 699
mapreduce是一个并行计算框架，它起源于Google的MapReduce论文，它主要用于离线海量数据计算。优点：海量数据离线处理，开发简单，部署方便缺点：仅适用于批处理，不支持实时数据计算。
MapReduce官方案例wordcount
林中有神君
02-18 833
wordcountReduce.java package MaperReduce; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; //reduce阶段 /* * 四个泛型的解释 * KEYIN:K2的类型 * VALUEIN:V2的类型 * * .
MapReduce案例WordCount
tuweibazong的博客
11-13 628
使用hadoop集群进行单词计数wordcount的事例，基于IntelliJ IDEA Community软件，xshell，xftp，centos7
MapReduce入门以及WordCount案例
weixin_46628668的博客
10-16 948
MapReduce入门以及WordCount案例
MapReduce经典程序--WordCount
福贵儿的博客
02-22 2206
最近在把以前经典的程序拿出来看看，梳理一下背后的原理，在这里记录一下MR的经典程序 WC。 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.h
MapReduce WordCount例子
03-30
在WordCount例子中，Reducer会接收到所有带有相同单词键的中间键值对，将它们的值（出现次数）求和，生成最终的单词计数结果。 **IntelliJ IDEA与Maven配置MapReduce**： 要在IntelliJ IDEA中配置MapReduce开发环境...
hadoop mapreduce 例子项目，运行了单机wordcount
07-28
这个例子项目是关于在单机环境中运行WordCount程序的，这是一个经典的MapReduce示例，用于统计文本文件中每个单词出现的次数。 首先，让我们深入了解Hadoop。Hadoop是由Apache软件基金会开发的开源框架，专门设计...
MapReduce 实现 WordCount
2402_83590031的博客
05-14 948
MapReduce 由 Google 提出，后来被开源实现并广泛应用于大数据框架（如 Hadoop）中。它主要由两个阶段组成：Map 阶段和 Reduce 阶段。Map 阶段：负责将输入数据进行拆分，然后对每个数据片段执行用户定义的 Map 函数，生成一系列的中间键值对。Reduce 阶段：将 Map 阶段产生的具有相同键的中间值进行聚合处理，执行用户定义的 Reduce 函数，最终得到处理结果。通过 WordCount 这个经典实例，我们深入了解了 MapReduce 编程模型的工作原理和实现方式。
MapReduce打包运行
2301_82185678的博客
05-13 403
我们集群上安装的java环境是1.8的，那么我们生成的代码也必须是这个版本的，否则，就会无法运行。我们集群上安装的java环境是1.8的，那么我们生成的代码也必须是这个版本的，否则，就会无法运行。在上面的代码中，我们的程序只能完成固定目录下的功能。使用finalshell上到任意节点，例如hadoop100上的/opt下，。在pom.xml中，补充如下配置，它用来设置打包的java 版本。修改代码，让程序能指定要执行的输入目录和要保存结果的输出目录。修改driver类的代码，更新输入和输入路径。
mapreduce
2402_87106544的博客
05-14 390
该阶段编程模型中有一个 reduce 函数需要开发人员重写，reduce 函数的输入也是一个 <key, value> 对，reduce 函数的输出也是一个 < key,List<value>> 对。Reduce是会跨节点fetch属于自己的数据，并进行处理，把结果进行汇总，存储到HDFS。该阶段的编程模型中会有一个 map 函数需要开发人员重写，map 函数的输入是一个 < key,value > 对，map 函数的输出也是一个 < key,value > 对，key和value的类型需要开发人员指定。
MapReduce 模型
初入江湖，多多关照
05-13 1093
MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2）MapReduce是一个并行计算与运行软件框架（Software Framework）。
Mapreduce初使用
2401_83599586的博客
05-13 739
机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由。3. Driver阶段 相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象。有一本英语书，我们要对英语单词进行分拣：统计以a-p，或者q-z开头的单词，单独把他们放在两个不同的文件中。当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
MapReduce Shuffle 全解析：从 Map 端到 Reduce 端的核心数据流​
最新发布
Cy513841863的博客
05-16 1070
Shuffle是MapReduce框架中的核心环节，负责在MapTask和ReduceTask之间进行数据传输和处理。
实现WordCount的MapReduce代码
01-02
以下是一个实现WordCount的MapReduce代码的例子： ```python # Mapper函数 def mapper(text): words = text.split() # 将文本拆分成单词列表 word_count = [] for word in words: word_count.append((word, 1)) # 将每个单词映射为(key, value)对，value为1 return word_count # Reducer函数 def reducer(word_count_list): word_count_dict = {} for word_count in word_count_list: word = word_count[0] count = word_count[1] if word in word_count_dict: word_count_dict[word] += count # 对相同单词的计数进行累加 else: word_count_dict[word] = count return word_count_dict # MapReduce函数 def word_count_map_reduce(text_list): word_count_list = [] for text in text_list: word_count_list.extend(mapper(text)) # 将每个文本的映射结果合并到一个列表中 word_count_dict = reducer(word_count_list) # 对映射结果进行归约 return word_count_dict # 测试数据 text_list = ["Hello world", "Hello Python", "Python is great"] # 调用MapReduce函数 result = word_count_map_reduce(text_list) print(result) # 输出：{'Hello': 2, 'world': 1, 'Python': 2, 'is': 1, 'great': 1} ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值