本文介绍了如何在Windows上以local模式运行Spark程序，以便在本地调试代码，避免使用spark-submit的复杂过程。通过设置sbt文件的Master为'local[3]'，创建driver和worker。由于未安装Hadoop，使用了仅包含Spark核心代码的spark-core，并建议使用1.3版本以避免依赖包下载问题。
linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果
package com
import scala.math.random
import org.apache.spark._
object localSpark {
def main(args: Array[String]) {
val conf=new SparkConf().setMaster("local[3]")
.setAppName("Spark Pi")
.set("spark.ui.port", "9995"
最低0.47元/天 解锁文章
扫一扫
1093
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
