使用mapreduce统计文件中所有单词出现的次数

最新推荐文章于 2024-06-05 10:53:25 发布

蔚蓝色天空sky

最新推荐文章于 2024-06-05 10:53:25 发布

阅读量1.6k

点赞数

分类专栏： hadoop 分布式文章标签： mapreduce hadoop 大数据分布式计算

本文链接：https://blog.csdn.net/ytangdigl/article/details/109222110

版权

本文档详细介绍了如何使用MapReduce在Hadoop环境下统计文件中单词出现次数的步骤，包括创建Java Maven工程，编写WordCount的Mapper、Reducer类，打包成jar文件，上传到CentOS7，将文本文件传至HDFS，执行Hadoop命令并查看结果。

摘要由CSDN通过智能技术生成

1、将wordcount.txt文本文件上传到/data/目录下，wordcount.txt文件内容如下：

red   black  green  yellow
red blue blue
black big small small   yellow
red red red red
blue

在这里插入图片描述

2、创建一个java maven工程，pom.xml中添加hdfs、mapreduce的引用，如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.che</groupId>
  <artifactId>demo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>demo</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
  
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope