我们将介绍Spark2.0的安装,以及在pyspark“终端”程序界面执行Python Spark程序于本机、Hadoop YARN-client与Spark atand Alone模式。
在Spark官网中,可以看到Spark的Cluster模式架构图,网址http://spark.apache.org/docs/latest/cluster-overview.html
Spark的Cluster模式架构图
·Driver Program就是程序员设计的Spark程序,在Spark程序中必须定义SparkContext,它是Spark应用程序入口。
·SparkContext通过Cluster Manager管理整个集群,集群中包含多个Worker Node,在每一个Worker Node中都有Executor负责执行任务。
SparkContext通过Cluster Manager管理整个集群Cluster的好处是:所设计的Spark程序可以在不同的Cluster模式下运行。
Cluster Manager可以在下列模式下运行
·本地运行(Local Machine)
·Spark Stand alone Cluster
·Hadoop YARN
·云端
8.1 Scala的介绍与安装
因为Spark本身是Scala开发的,所以必须先安装Scala语言,Scala 可译为Java byte code字节码,也就是说scala可以在JVM(java Virtual Machine)运行,具备跨平台能力。