Spark Demo程序运行及相应问题

Demo程序

创建scala项目

注意JDK与Scala SDK的选择

从spark官网下载spark-2.2.1-bin-hadoop2.7.tgz，链接
解压之后，在Libraries中添加

Spark的例子 Pi Estimation
完整版本代码如下

import org.apache.spark.{SparkConf, SparkContext}

object SparkPi {
  def main(args:Array[String]){
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
    val sc = new SparkContext(conf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = 100000 * slices
    val count = sc.parallelize(1 to n).filter{ _ =>
      val x = math.random * 2 - 1
      val y = math.random * 2 - 1
      x * x + y * y < 1
    }.count()
    println("Pi is roughly " + 4.0 * count / n)
    sc.stop()
  }
}

然后，运行程序，可能出现的问题及方法总结如下：

问题

Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决方法参考1
解决方法参考博客2
解决方法参考博客3

问题解决方法

先从Hadoop官网下载hadoop-2.7.5.tar.gz，链接
解压后，从参考3中Prasad D回答的

Download it from here and add to $HADOOP_HOME/bin

点击下载得到hadoop-common-2.2.0-bin-master.zip
解压后，将所有文件复制到Hadoop-2.7.5/bin文件夹下

再根据参考2中的说法，将hadoop.dll复制到system32中，
修改hadoop-2.7.5\etc\hadoop中的xml文件
然后，根据参考1，修改计算机环境变量，添加


之后可能需要重启电脑或者IDEA软件

结果图