配置spark,并在idea中搭建项目

网上的普遍太久远,不太适配,记录自己的完美搭建

一、配置spark

1.配置maven(注意选择版本为3.6.3)

参考:https://blog.csdn.net/huo920/article/details/82082403
但这一步是多余的

2.下载scala(注意版本对应为2.12)

查看scala版本:scala -version
查看对应关系:https://mvnrepository.com/artifact/org.apache.spark/spark-core
在这里插入图片描述
安装scala参考:https://cloud.tencent.com/developer/article/1733776
官网:https://www.scala-lang.org/download/
然后选择特定的版本
在这里插入图片描述

3.下载spark(注意版本选择3.1.3)
不要太新了,否则spark-shell会报错,需要降低版本
https://zhuanlan.zhihu.com/p/149469688
检验:cmd中spark-shell
在这里插入图片描述

二、搭建idea项目

1.创建项目

由于版本较新,maven版本配置全靠自己琢磨,可惜自己没琢磨透
感谢好友@玥的热心帮助,通过直接创建项目解决问题
参考:https://blog.csdn.net/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen
注意:点击IDEA右上角放大镜左边的按钮(Project Structure),或者快捷键ctrl + shift + alt + S,点击Modules:
(要包括scala-sdk和spark的jars包:D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars)
在这里插入图片描述

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}

在这里插入图片描述
在这里插入图片描述

3.成果展示
在这里插入图片描述
4.附上测试代码
注意!!package和object test1 为自己的哈

package main.scala

object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

在这里插入图片描述

三、心得
完结撒花,仙女落泪QAQ

有问题可以发评论区,我看到会回复
折腾三天,理论把坑踩遍了hhh

  • 9
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
### 回答1: 在搭建Spark Maven项目时,需要配置pom.xml文件。具体配置如下: 1. 配置项目基本信息,包括groupId、artifactId、version等。 2. 配置依赖项,包括Spark核心依赖、Spark SQL依赖、Hadoop依赖等。 3. 配置插件,包括maven-compiler-plugin、maven-assembly-plugin等。 4. 配置资源文件,包括log4j.properties等。 5. 配置打包方式,包括jar、war等。 6. 配置打包时需要排除的文件或目录。 以上是搭建Spark Maven项目时pom.xml文件的基本配置,具体配置可根据项目需求进行调整。 ### 回答2: 为了在IDEA搭建Spark Maven项目,需要对pom.xml文件进行配置。以下是pom.xml文件的基本配置: 1. 配置项目属性 首先,需要在pom.xml文件添加以下的属性: ``` <groupId>com.example</groupId> <artifactId>spark-maven-project</artifactId> <version>1.0-SNAPSHOT</version> <name>Spark Maven Project</name> ``` 这些属性分别指定了项目的组ID、项目的唯一标识、项目的版本号以及项目的名称。这些属性是项目的基本属性,可以根据具体项目的需要来进行修改。 2. 添加Spark依赖 为了使用Spark,需要将Spark相关的依赖添加到pom.xml文件。以下是添加Spark Core和Spark SQL的依赖: ``` <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.5</version> </dependency> </dependencies> ``` 这些依赖用于在项目使用Spark的核心功能和SQL功能。 3. 添加日志依赖 在Spark项目,使用日志是非常重要的,因为它可以帮助我们了解和排查代码的错误。因此,我们需要在项目添加日志依赖以支持日志记录。以下是添加日志依赖的代码: ``` <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.30</version> </dependency> ``` 4. 添加资源文件 在Spark项目,资源文件非常重要。资源文件包括配置文件、日志文件等。因此,我们需要在pom.xml文件配置资源文件,以使其可以在项目使用。以下是配置资源文件的代码: ``` <build> <resources> <resource> <directory>src/main/resources</directory> <filtering>true</filtering> </resource> </resources> </build> ``` 这段代码指定了项目资源文件的位置以及是否需要进行过滤。 总结 以上是在IDEA搭建Spark Maven项目所需的pom.xml文件基本配置。除此之外,还需要根据具体项目的需求进行更多的配置,例如添加其他依赖、指定Java版本等。 ### 回答3: 在搭建Spark Maven项目时,我们需要配置pom.xml文件才能成功创建一个项目。pom.xml文件是Maven项目的核心文件,用于指定项目的基本信息、依赖和构建等。下面是配置pom.xml文件的步骤: 1.指定Project属性 在pom.xml文件,首先需要指定Project属性,包括groupId、artifactId、version和packaging等信息。其,groupId代表项目所在的组织或公司,artifactId代表项目的名称,version代表项目的版本号,packaging指定项目的打包方式。例如: ``` <groupId>com.spark.example</groupId> <artifactId>spark-maven-example</artifactId> <version>1.0-SNAPSHOT</version> <packaging>jar</packaging> ``` 2.添加Spark依赖 接下来,我们需要添加Spark依赖。在pom.xml文件,我们可以添加spark-core和spark-sql等Spark依赖的坐标。例如: ``` <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.5</version> </dependency> ``` 3.添加其他依赖 除Spark依赖外,我们可能还需要添加其他依赖来支持项目的构建。例如,我们可以添加Scala依赖和JUnit依赖。例如: ``` <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> ``` 4.指定构建插件 最后,在pom.xml文件要指定构建插件,来编译、打包和部署项目。例如,我们可以通过maven-compiler-plugin插件指定编译器版本为1.8,使用maven-jar-plugin插件将构建的项目打包成jar文件。例如: ``` <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.8.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>3.2.0</version> <configuration> <archive> <manifest> <mainClass>com.spark.example.SparkExample</mainClass> </manifest> </archive> </configuration> </plugin> </plugins> </build> ``` 通过以上步骤可以完成Spark Maven项目的pom.xml文件配置。在完成配置后,我们可以使用maven命令来编译、打包和部署项目
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是Yu欸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值