在windows下配置eclipse的spark调试环境

1.下载配置jdk，scala。

2.下载eclipse for scala。

3.下载带编译好的spark jar包。

4.在eclipse中新建工程，导入 spark-assembly-1.1.1-hadoop1.0.4.jar 这类jar包，并且删除scala原有的library。

5.新建类，输入以下代码，执行成功就可以了

import scala.math. random

import org.apache.spark._

/** Computes an approximation to pi */

object test2 {

def main ( args : Array[ String ]) {

val conf = new SparkConf(). setAppName ( "Spark Pi" ). setMaster ("local" )

val spark = new SparkContext( conf )

val slices = if ( args . length > 0 ) args ( 0 ). toInt else 2

val n = math. min ( 100000L * slices , Int . MaxValue ). toInt // avoid overflow

val count = spark . parallelize ( 1 until n , slices ). map { i =>

val x = random * 2 - 1

val y = random * 2 - 1

if ( x * x + y * y < 1 ) 1 else 0

}. reduce (_ + _)

println ( "Pi is roughly " + 4.0 * count / n )

spark . stop ()

}

}

其中最重要的是黄底的位置，必须设置为local,在使用ide本地调试的时候,不管是eclipse还是IntelliJ都是配置上面的conf