提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
一、提出任务
-
单词计数是学习分布式计算的入门程序,有很多种实现方式,例如MapReduce;使用Spark提供的RDD算子可以更加轻松地实现单词计数。
-
在IntelliJ IDEA中新建Maven管理的Spark项目,并在该项目中使用Scala语言编写Spark的WordCount程序,最后将项目打包提交到Spark集群(Standalone模式)中运行。
-
预备工作:启动集群的HDFS与Spark
- HDFS上的单词文件 -
words.txt
二、完成任务
(一)新建Maven项目
- 新建Maven项目,基于JDK1.8
- 设置项目信息(项目名称、保存位置、组编号以及项目编号)
单击【Finish】按钮
- 将
java
目录改成scala
目录
(二)添加相关依赖和构建插件
- 在
pom.xml
文件里添加依赖与Maven
构建插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>net.Lee.rdd</groupId>
<artifactId>sparkRDDWordCount</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.12</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11