Python Spark的介绍与安装(1) 学习笔记八

我们将介绍Spark2.0的安装，以及在pyspark“终端”程序界面执行Python Spark程序于本机、Hadoop YARN-client与Spark atand Alone模式。
在Spark官网中，可以看到Spark的Cluster模式架构图，网址http://spark.apache.org/docs/latest/cluster-overview.html

Spark的Cluster模式架构图
·Driver Program就是程序员设计的Spark程序，在Spark程序中必须定义SparkContext，它是Spark应用程序入口。
·SparkContext通过Cluster Manager管理整个集群，集群中包含多个Worker Node，在每一个Worker Node中都有Executor负责执行任务。

SparkContext通过Cluster Manager管理整个集群Cluster的好处是：所设计的Spark程序可以在不同的Cluster模式下运行。
Cluster Manager可以在下列模式下运行
·本地运行(Local Machine)
·Spark Stand alone Cluster
·Hadoop YARN
·云端

8.1 Scala的介绍与安装

因为Spark本身是Scala开发的，所以必须先安装Scala语言，Scala 可译为Java byte code字节码，也就是说scala可以在JVM(java Virtual Machine)运行，具备跨平台能力。