前言
接下来下定决心好好学习Spark了。。。ps:关于Spark安装和使用以及Spark分布式集群环境搭建,请见参考内容1-4,这里就不作阐述了。
步骤
-
首先安装Scala插件,File->Settings->Plugins,搜索出Scla插件,点击Install安装;
-
File->New Project->maven,新建一个Maven项目,填写GroupId和ArtifactId;
-
编辑pom.xml文件,添加项目所需要的依赖:前面几行是系统自动生成的,我们只需要从
<version>1.0-SNAPSHOT</version>
之后开始添加就行。关于spark.version和scala.version需要在服务器通过启动spark-shell查询。<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>test</groupId> <artifactId>SparkPi</artifactId> <version>1.0-SNAPSHOT</version> <properties> <spark.version>2.4.4</spark.version> <scala.version>2.11</scala.version> </properties> <repositories> <repository> <id>nexus-aliyun</id> <name>Nexus aliyun