intelliJ创建一个Spark项目

intelliJ创建一个Spark项目

1. 配置好maven——pom.xml文件
2. 为项目添加好支持框架scala
3. 设置项目源代码文件夹
4. 创建一个类，编写好代码，并顺利运行
5. 为项目生成一个jar包
6. 在cmd中执行jar包

一：配置好maven——pom.xml文件

1.文件——>创建一个maven项目

2.部署maven数据库，设置国内镜像(在maven配置文件pom.xml中配置)
2-1：maven数据库，中国镜像

<repositories>
<repository>
<id>aliyun</id>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>
<repository>
<id>apache</id>
<url>https://repository.apache.org/content/repositories/snapshots/</url>
</repository>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>

2-2：设置spark包依赖，使得maven自动从maven数据库中下载spark包

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.0.1</version>
</dependency>
</dependencies>

2-3：保存pom.xml文件，更新（有个小标志）

二：为项目添加好支持框架scala

右击项目，选择添加scala框架支持

三：设置项目源代码文件夹

1.在源代码的主目录下创建scala语言文件夹，用来装scala程序文件
2.选择文件，项目结构，选择scala目录作为该项目的源代码存放目录

四：创建一个类，编写好代码，并顺利运行

在该目录下创建scala文件WlzHello.scala

五： 为项目生成一个jar包

1.为项目生成并添加jar文件
点击文件，项目结构，点击伪像artifacts，点击+加号，添加jar
（jar包文件名为项目名称WLZ，将包中一些默认的额外包删除）



2.生成结果文件——build
2-1：导航栏build中选择build 伪像artifact
2-2：在左侧频道中会生成刚刚形成的项目jar包

六：在cmd中执行jar包中的代码

1.将out文件夹中刚生成的项目jar包,复制并粘贴到本地spark的jars文件夹

2.在cmd 中输入命令，执行项目jar包中的某个类（这里只有一个类）

spark-submit --class WlzHello WLZ.jar