使用IDEA进行scala打包运行

本文介绍了如何在IntelliJ IDEA中创建Scala Maven工程,并进行打包,重点在于如何将打包后的程序提交到Spark集群进行运行。文章详细讲解了从编写Scala代码到配置pom.xml,再到使用Maven打包的整个过程,最后说明了如何在Spark集群上提交运行打包后的程序。
摘要由CSDN通过智能技术生成

前言

IDEA的安装、创建maven工程和scala编程不是本文的重点,这里主要介绍打包并放至spark集群上运行的方法。(具体安装和配置操作的参考链接:https://blog.csdn.net/s863222424/article/details/102979162

具体步骤

  1. 创建一个scala class文件,写上一段简单的scala代码。
package main.scala

object helloworld {
   
  def main(args: Array[String]):Unit = {
   
    println("Hello World!")
  }
}

运行结果:
在这里插入图片描述

  1. 打包scala程序
    首先配置pom.xml
    下面给出一些常见的Maven依赖,IDEA会自动下载这些依赖,在下载的时候右下角会一直有转圈的符号,下载完成后会变成绿色。
    在这里插入图片描述
<properties>
    <spark.version>2.1.0</spark.version>
    <scala.version>2.11</scala.version>
</properties>


<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${
   scala.version}</artifactId
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值