一、提出任务
(1)启动集群的HDFS与Spark
![请添加图片描述](https://img-blog.csdnimg.cn/8dd49ac4e35d45c2a1151851c419c3fe.jpeg)
(2)创建文件
- 创建文件words.txt,在传到hdfs的input下
![请添加图片描述](https://img-blog.csdnimg.cn/206620f5937944a4a01201d2361c0445.jpeg)
二、完成任务
(一)新建Maven项目
- 新建Maven项目,选择JDK1.8、点击next
![请添加图片描述](https://img-blog.csdnimg.cn/eff66bc3eb2d41ae9cb6f78c0be72831.jpeg)
- 设置项目信息(项目名称、保存位置、组编号以及项目编号)
![请添加图片描述](https://img-blog.csdnimg.cn/dba7b82157d64b1f9dafcdb5dd41ea8a.jpeg)
![请添加图片描述](https://img-blog.csdnimg.cn/73e446176bfc4933b7a944bbe5353ad8.jpeg)
![请添加图片描述](https://img-blog.csdnimg.cn/f130198ea75c4efe93cd590a056e3d2c.jpeg)
(二)添加相关依赖和构建插件
- 在pom.xml文件里添加依赖与Maven构建插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>net.fhl.rdd</groupId>
<artifactId>SparkRDDWordCount</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.12.15</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.4</version>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/scala<