大数据处理从零开始————8.基于Java构建WordCount项目

1.配置项目环境

1.1 配置ide工具

        下载IntelliJ IDEA。

Download IntelliJ IDEA – The Leading Java and Kotlin IDE (jetbrains.com.cn)

        全部下一步，中途遇到需要勾选的全部勾选即可。

        安装可以参考下面文章：

【附安装包】IDEA下载、安装、配置与使用（保姆级教程）-CSDN博客

1.2 配置Maven项目管理工具

1.下载并解压Maven包

（1）官网下载

        官网下载地址：

Maven – Download Apache Maven

        如果是Windows用户使用Maven则选择apache-maven-x.x.x-bin.zip即可。Liunx和MacOS用户则选择apache-maven-x.x.x-bin.tar.zip。

        下载后解压。

（2)百度网盘下载

        百度网盘下载地址：

通过百度网盘分享的文件：apache-maven-3.9.9.zip
链接：https://pan.baidu.com/s/1qOU8feBehWrFYodngivusQ?pwd=82co 
提取码：82co 
--来自百度网盘超级会员V3的分享

        下载后并解压便可以。

         解压成这样便可以。

(3) 配置Maven

        打开文件夹下面的bin文件，并复制地址。

       

        打开windows系统，打开系统属性，点击环境变量，然后打开系统变量，点击打开Path，然后新建将上面复制的地址输入到新建中。然后一步步点击确认，应用。

        然后打开电脑的cmd。输入mvn -version有类似如下的反应便是正确的。

        在进行完上一步后，为了能够成功运行，还要配置setting文件。首先我们要新建一个空的文件夹（任意位置都可以）作为maven的仓库，然后复制好文件夹地址。

        接着打开maven文件夹中conf文件下的setting.xml文件。

        然后找到setting中这个位置加入下面这行标签，标签中替换为你上一步中复制的新建文件夹地址。                

        如果你可以自由连接国外镜像源，那么你便可以不更改setting中的镜像源，不用进行下一步。反之的话，那么你需要更改setting中的镜像源，下面是更改到阿里云镜像。

        在<mirrors>标签中加入下面模块。

2.项目搭建

        首先，打开之前下载的ide工具，点击新建项目。

        在java项目中，名称，组ID，工作ID三个构成了确定的项目位置，可以按照我的去设置相应的项目信息。

        在进行完上一步后，打开项目设置，然后找到项目构建工具打开Maven，然后将Maven主路径设置为你的Maven路径，用户设置文件设置为你的Maven下的conf文件中的settings.xml文件。

        点开右上角位置，打开管理IDE设置下的设置同步，如果禁用的话便点击设置同步，这样你的这个项目的Maven工具设置便同步到了整个ide设置中。

        在完成上一步后，打开项目中的pom.xml文件会有类似如下的基础项目配置，这些内容不要动，如果动了会让项目报错。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.jyd</groupId>
    <artifactId>WordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

</project>

        接着我们要添加项目依赖。接着在pom.xml文件末尾处添加下方的项目依赖。添加完之后首先会出现大片红色，这表示这些jar包还没有下载。

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
            <!--<scope>test</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.3.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.3.3</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.11</version>
        </dependency>
    </dependencies>

        在进行完上一步后,点击下图部分标红部分，刷新并下载yi'lai'ba

        在进行完上面过程后，我们新建一个java文件，这里我起名为WordCount.java，然后我们开始编写代码。下面是完善的代码：

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

    /**
     * 编写Mapper类,负责数据的映射(Map).
     * 该类继承自Mapper类，重写 map 方法,主要作用是对输入数据进行预处理，
     * 并将处理后的数据以键值对的形式输出。
     * TokenizerMapper 类负责将输入文本分割成单词，
     * 并为每个单词创建一个出现次数为1的键值对
     */
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        // 静态常量,代表每个单词出现的次数为1
        private final static IntWritable one = new IntWritable(1);
        // Text类型的变量，用于存储解析出的单词。
        private Text word = new Text();

        // map方法接收三个参数：键（在这里未使用）、值（输入的一行文本）和上下文（用于输出数据）。
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            // 使用StringTokenizer对输入的文本行进行分词
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    /**
     * IntSumReducer对应归约(Reduce)操作,
     * 该类继承自Reducer类，并重写reduce方法,主要作用是对映射阶段输出的数据进行归约处理，
     * 即合并具有相同键的所有值。
     * IntSumReducer 类负责将这些键值对进行归约处理，
     * 计算每个单词的总出现次数，并将结果输出
     */
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

        // IntWritable 类型的变量，用于存储归约后的结果
        private IntWritable result = new IntWritable();

        // reduce方法接收三个参数：键（单词）、值（该单词出现的所有次数）和上下文（用于输出数据）
        public void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            // 遍历所有值并将它们相加，得到该单词的总出现次数
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    /**
     * 入口程序.负责配置MapReduce作业的各种属性，
     * 指定作业的输入和输出路径，并提交作业以等待其完成。
     */
    public static void main(String[] args) throws Exception {
        // 添加配置,内部包含了Hadoop集群的核心配置信息
        Configuration conf = new Configuration();
        // 用上述配置创建一个新的Job对象，并为其指定一个作业名称"word count"。
        Job job = Job.getInstance(conf, "word count");
        // 关联真正的实现单词统计的API
        job.setJarByClass(WordCount.class);
        // 负责映射阶段的处理
        job.setMapperClass(TokenizerMapper.class);
        // Combiner在映射阶段之后运行，用于在数据发送到Reducer之前进行本地归约，
        // 以减少网络传输的数据量。注意，这一步是可选的
        job.setCombinerClass(IntSumReducer.class);
        // 负责归约阶段的处理
        job.setReducerClass(IntSumReducer.class);
        // 设置作业输出的键类型为Text
        job.setOutputKeyClass(Text.class);
        // 设置作业输出的值类型为IntWritable。
        job.setOutputValueClass(IntWritable.class);
        // 添加输入路径,获取要统计文件的位置,这里假设命令行参数args是输入路径.
        FileInputFormat.addInputPath(job, new Path(args[0]));
        // 设置统计结果的输出路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 提交作业并等待其完成。如果作业成功完成，则返回0；否则返回1
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

        然后点击下图中所显示的package按钮来打包。在打包之后，会出现target文件，打开target文件中会有一个jar包。（有些会显示运行成功但是没有target包，这就需要刷新一下ide才能显示。）

        然后启动我们前面配置好的虚拟机，打开虚拟机中的hadoop。

        ./jpsall  查看jps状态

        ./myhadoop.sh start 启动hadoop

        可能你的jar包名字太长太复杂不太容易输入，可以重命名一下，我重命名为wc.jar。可以在你的虚拟机上新建一个文件夹用来储存包。我这里新建了/user/local/data文件夹储存。

        mkdir -p /usr/local/data

        然后通过xttp上传你的jar包到文件夹下。

        下面我们建立一个文件用来测试上述代码。内容可以随意填。

        

cd /user/local/data     #转到文件夹下
ll    #查看是否上传成功
vim cs #创立测试文件
hdfs dfs mkdir /sy   #在hadoop下创建一个sy文件
hdfs dfs -put cs /sy  #将cs上传到/sy中

        接下来我们运行jar包

hadoop jar wc.jar com.jyd.WordCount /sy/cs /csoutput
#运行jar文件   
#wc.jar表示你上传的包   
#com.jyd.WordCount便是的便是包和文件名在下图中已经展示在哪里
#/sy/cs表示待测试文件
#/csoutput表示结果输出文件

        查看运行结果：

hdfs dfs cat /csoutput/part-00000