Spark IDEA环境搭建

open_test01

已于 2023-05-18 18:36:52 修改

阅读量1.4k

点赞数

分类专栏： Spark 文章标签： spark scala 大数据

于 2023-03-02 21:26:08 首次发布

本文链接：https://blog.csdn.net/dafsq/article/details/129307914

版权

Spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

创建 Maven 项目

创建新的maven

删除src目录

创建spark.core工程文件

增加 Scala 插件

Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala，咱们当前使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12，所以后续开发时。我们依然采用这个版本。开发前请保证 IDEA 开发工具中含有 Scala 开发插件

先提前准备好scala2.12的编译

如果未采用可以看之前的流程进行：

初探Scala_open_test01的博客-CSDN博客

查看框架支持

选择scala框架支持

测试环境

添加依赖关系

<dependencies>
 <dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.12</artifactId>
 <version>3.0.0</version>
 </dependency>
 <dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>janino</artifactId>
    <version>3.0.12</version>
 </dependency>
</dependencies>

基本连接与关闭

  def main(args: Array[String]): Unit = {
    //建立spark框架连接
      //基本配置
    val sparkConf = new SparkConf().setMaster("local").setAppName("WordCount")
        //sparkConf基础配置对象 sparkConf环境 local本地环境 应用名称：WordCount
    val sc = new SparkContext(sparkConf) //将sparkConf传入核心对象中


    //关闭spark框架连接
    sc.stop()
  }

运行查看日志信息