预备工作:启动集群的HDFS与Spark
将成绩文件 - grades.txt
上传到HDFS上/input
目录
二、完成任务
(一)新建Maven项目
- 设置项目信息(项目名、保存位置、组编号、项目编号)
单击【Finish】按钮
将java
目录改成scala
目录
(二)添加相关依赖和构建插件
- 在
pom.xml
文件里添加依赖与Maven构建插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>net.huawei.rdd</groupId>
<artifactId>GradeTopN</artifactId>
<version>1.0-SNAPSHOT</version>
<dependen