IntelliJ IDEA单机运行SparkPi实例

1、环境

windows 7

IntelliJ IDEA 14.0.3

JDK 1.6

Spark 1.3.0

scala-2.11.4

2、准备工作

配置JDK，scala的环境变量，通过java -version、scala -version检验

安装IntelliJ IDEA 14.0.3，安装scala插件

3、创建一个工程

IntelliJ IDEA中new project 相当于eclipse的workspack,创建一个工作区间

而 new Module 才是创建一个工程。

添加spark-assembly-1.3.0-hadoop2.4.0依赖包

添加scala-sdk-2.11.4依赖包

创建一个scala object

package lesson01
import scala.math.random

import org.apache.spark._

/**
 * Created by Administrator on 2015/5/13.
 */
object Test {
  def main(args:Array[String]){
    println("sssssss")
    val conf = new SparkConf().setAppName("Spark Pi")
    val spark =new SparkContext(conf)
    val slices=if (args.length > 0) args(0).toInt else 2
 val n=10000 * slices
    val count = spark.parallelize(1 to n,slices).map {i =>
    val x= random * 2 -1
 val y= random * 2 -1
 if(x*x + y*y < 1) 1 else 0
 }.reduce(_+_)
    println("Pi is roughly "+4.0 * count / n)
    spark.stop()
  }
}

拷贝sparkPi的样例代码，单机运行，需要配置虚拟机参数

对VM options 添加 -Dspark.master=local参数

应用-ok即可

然后再执行程序。

会报

异常，因为我们没有安装Hadoop运行环境，所以此处不用关注。

结果如下图显示。