IDEA连接Spark集群执行Scala程序

最新推荐文章于 2024-08-07 20:31:19 发布

==樛木==

最新推荐文章于 2024-08-07 20:31:19 发布

阅读量3.3k

点赞数 3

分类专栏：安装配置+bug记录文章标签： Spark IDEA 集群 Scala 远程

本文链接：https://blog.csdn.net/weixin_38493025/article/details/103365712

版权

本文详细介绍了如何在IDEA中配置和连接Spark集群，以执行Scala程序。步骤包括安装Scala插件，创建Maven项目，配置pom.xml文件，设置Scala版本，创建Scala源文件，构建JAR包，以及在服务器上配置Spark环境。最后，文章提到了可能出现的错误及解决方法，确保程序成功运行。

摘要由CSDN通过智能技术生成

前言

接下来下定决心好好学习Spark了。。。ps：关于Spark安装和使用以及Spark分布式集群环境搭建，请见参考内容1-4，这里就不作阐述了。

步骤

首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装；
File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId；

编辑pom.xml文件，添加项目所需要的依赖：前面几行是系统自动生成的，我们只需要从<version>1.0-SNAPSHOT</version>之后开始添加就行。关于spark.version和scala.version需要在服务器通过启动spark-shell查询。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>test</groupId>
    <artifactId>SparkPi</artifactId>
    <version>1.0-SNAPSHOT</version>
    
    <properties>
        <spark.version>2.4.4</spark.version>
        <scala.version>2.11</scala.version>
    </properties>
    <repositories>
        <repository>
            <id>nexus-aliyun</id>
            <name>Nexus aliyun