IntelliJ Idea开发spark程序及运行

最新推荐文章于 2022-05-04 17:11:15 发布

JamesFen

最新推荐文章于 2022-05-04 17:11:15 发布

阅读量5.8k

点赞数 1

分类专栏： spark 文章标签： spark idea intellij idea

本文链接：https://blog.csdn.net/jameshadoop/article/details/52313229

版权

本文介绍了如何在IntelliJ IDEA中创建一个SBT项目，编写Spark程序，进行打包，并在Windows本地或Spark集群上运行。详细讲解了配置Run/Debug Configurations的VM options，以及spark-submit的各项参数，包括master URL、deploy mode等。

摘要由CSDN通过智能技术生成

版本：spark-1.6.0,IntelliJ Idea15

1.创建一个SBT项目

参考步骤：http://blog.csdn.net/jameshadoop/article/details/52299250

2.编写简单代码

package com.james.scala
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def mai