《Spark机器学习》笔记---Spark集群

Spark集群由两类程序构成：

1. 一个驱动程序
2. 多个执行程序

本地模式：所有的处理都运行在同一个JVM内；
集群模式：它们通常运行在不同的节点上。
一个采用单机模式的Spark集群（即使用Spark内置的集群管理模块）通常包括：

• 一个运行Spark单机主进程和驱动程序的主节点；
• 各自运行一个执行程序进程的多个工作节点。

在本书中，我们将使用Spark的本地单机模式做概念讲解和举例说明，但所用的代码也可运行在Spark集群上。比如在一个Spark单机集群上运行上述示例，只需传入主节点的URL即可：

> MASTER=spark://IP:PORT ./bin/run-example org.apache.spark.examples.SparkPi

其中的IP和PORT分别是主节点IP地址和端口号。这是告诉Spark让示例程序运行在主节点所对应的集群上。

Spark集群管理和部署的完整方案不在本书的讨论范围内。
Spark集群部署的概要介绍可参见如下链接：

• http://spark.apache.org/docs/latest/cluster-overview.html
• http://spark.apache.org/docs/latest/submitting-applications.html