Study 2.4 IDEA开发词频统计项目

一、词频统计准备工作
单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
在IntelliJ IDEA中新建Maven管理的Spark项目，在该项目中使用Scala语言编写Spark的WordCount程序，可以本地运行Spark项目查看结果，也可以将项目打包提交到Spark集群（Standalone模式）中运行。
（一）版本选择问题
前面创建了Spark集群（Standalone模式），采用的是Spark3.3.2版本
Spark3.3.2用的Scala库是2.13，但是Spark-Shell里使用的Scala版本是2.12.15

为了Spark项目打成jar包能够提交到这个Spark集群运行，本地就要安装Scala2.12.15

 

由于Spark项目要求Spark内核版本与Scala库版本（主版本.次版本）要保持一致，否则本地都无法运行项目。Spark3.2.0开始，要求Scala库版本就更新到了2.13，只有Spark3.1.3使用Scala库版本依然是2.12，因此Spark项目选择使用Spark3.1.3。

Spark项目如果基于JDK11，本地运行没有问题，但是打成Jar包提交到集群运行会报错

卸载之前在Windows上安装的Scala2.13.10

 

 
（二）安装Scala2.12.15
从Scala官网下载Scala2.12.15 - https://www.scala-lang.org/download/2.12.15.html

 

下载到本地

安装在默认位置

安装完毕

 

在命令行窗口查看Scala版本（必须要配置环境变量）

 

（三）启动集群的HDFS与Spark
启动HDFS服务

 

启动Spark集群

 

（四）在HDFS上准备单词文件
在master虚拟机上创建单词文件 - words.txt

将单词文件上传到HDFS指定目录/wordcount/input

 

二、本地模式运行Spark项目
（一）新建Maven项目
新建Maven项目，注意，要基于JDK8

设置项目信息（项目名称、保存位置、组编号以及产品编号）

 
单击【Finish】按钮

 
将java目录改成scala目录

重名为scala

 

 
源程序目录变成了scala

（二）添加项目相关依赖
在pom.xml文件里添加依赖，并告知源程序目录已改成scala

 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
          http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.huawei.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId