编程实现圆周率Pi的计算
在终端中执行如下命令创建一个文件夹sparkapp作为应用程序根目录
cd ~ # 进入用户主文件夹
mkdir ./sparkapp # 创建应用程序根目录
mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构
为了能够使用sbt对Scala应用程序进行编译打包,需要把应用程序代码存放在应用程序根目录下的src/main/scala目录下。
使用vim编辑器在/sparkapp/src/main/scala目录下建立一个名为montecarloForPi.scala 的Scala代码文件。
vim ./sparkapp/src/main/scala/montecarloForPi.scala
import scala.collection.mutable.ArrayBuffer
import scala.util.Random
object montecarloForPi {
def fun(num:Int):Double={
val randomnum = new Random()
val loop = (1 to num)
var count = 0
loop.foreach(_ => {
val (x,y) =(randomnum.nextFloat(),randomnum.nextFloat())
val disToCenter = Math.sqrt(Math.pow(x,2)+Math.pow(y,2))
if (disToCenter <= 1.0) count +=1
})
(count*4) *1.0000/num
}
def main(args: Array[String]): Unit = {
val piArr = ArrayBuffer[Double]()
val loop = (1 to 100)
loop.foreach(_ =>
{
piArr += fun(1000000)
})
val pimean = piArr.sum/piArr.size
println(pimean)
}
}
用sbt打包Scala应用程序
应用程序依赖于Spark API,因此,需要通过sbt进行编译打包。使用vim编辑器在/sparkapp目录下新建文件pi.sbt
vim ./sparkapp/pi.sbt
pi.sbt文件用于声明该独立应用程序的信息以及与Spark的依赖关系,输入以下内容:
name := "Pi Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
Spark版本和Scala版本根据自己安装的版本来写,通过启动Spark Shell,可以查看到Spark版本和Scala版本。
为了保证sbt能正常运行,先执行如下命令检查整个应用程序的文件结构
cd ~/sparkapp
find
文件结构如下所示
通过如下代码将整个应用程序打包成JAR
/usr/local/sbt/sbt package
对于刚刚安装的Spark和sbt而言,第一次执行上面命令,系统会自动从网络上下载各种相关文件,因此上面执行过程需要等待几分钟。
生成的JAR包的位置为/home/hadoop/sparkapp/target/scala-2.11/pi-project_2.11-1.0.jar
通过spark-submit运行程序
/usr/local/spark/bin/spark-submit --class "montecarloForPi" ~/sparkapp/target/scala-2.11/pi-project_2.11-1.0.jar
成功运行,ok,以上就是本次操作的全部内容,有哪里不对的地方随时指出来哦