Spark Standalone单机模式案例测试

一、Spark自带程序说明

---

• 示例程序：
  $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.8.jar
• 示例程序源码：
  $EXAMPLE_HOME/examples/src/main，有Java、Scala等等等
• 本实验室需要操作的案例：蒙特卡罗求PI
• 蒙特卡罗算法解释：

  蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。与它对应的是确定性算法。蒙特·卡罗方法在金融工程学，宏观经济学，计算物理学（如粒子输运计算、量子热力学计算、空气动力学计算）等领域应用广泛。

二、基于Spark的蒙特卡罗求PI源码（Scala语言）

---

• 【SparkPi.scala】源代码如下：

  package org.apache.spark.examples
  
  import scala.math.random
  
  import org.apache.spark.sql.SparkSession
  
  /** Computes an approximation to pi */
  object SparkPi {
    def main(args: Array[String]) {
      val spark = SparkSession
        .builder
        .appName("Spark Pi")
        .getOrCreate()
      val slices = if (args.length > 0) args(0).toInt else 2
      val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
      val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
        val x = random * 2 - 1
        val y = random * 2 - 1
        if (x*x + y*y <= 1) 1 else 0
      }.reduce(_ + _)
      println(s"Pi is roughly ${4.0 * count / (n - 1)}")
      spark.stop()
    }
  }
  

三、运行程序，查看结果

---

• 运行程序：进入到$SPARK_HOME/bin目录下，执行如下命令：

/spark-submit --master spark://niit-master:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.4.8.jar 100

• 查看结果
  成功后，在屏幕会看到如下日志信息：
  Pi is roughly 3.1411003141100315
  在浏览器中输入http://niit-master:7077，会看到如下图：