Intellij IDEA--Maven创建Spark工程

最新推荐文章于 2022-02-28 14:55:38 发布

习惯de味道

最新推荐文章于 2022-02-28 14:55:38 发布

阅读量1.4k

点赞数 1

分类专栏： spark 文章标签： spark maven

本文链接：https://blog.csdn.net/timicai/article/details/109474131

版权

本文介绍了如何在IntelliJ IDEA中创建一个Maven项目，并配置为Spark工程。首先创建一个Maven quickstart项目，设置组名和项目名。接着，添加Spark相关依赖，指定Maven目录，并在pom.xml中导入。然后，创建scala源代码目录并设置为Sources Root，同时创建resource目录作为Resource Root。最后，添加log4j配置文件并修改日志级别，以及编写Spark源代码前的系统配置步骤。

摘要由CSDN通过智能技术生成

Maven创建Spark工程

一、创建Maven项目

创建quickstart的maven的项目：
编写组名和项目名：
修改Maven的安装目录

在这里插入图片描述

点击完成
在这里插入图片描述

二、添加依赖

在pom.xml中添加依赖，选择import-change
根据当前使用的jdk和spark版本选择修改版本号

<!--修改jdk版本号-->
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>