【spark】spark的三种常用运行环境：Local，Standalone，Yarn

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行 , 在国
内工作中主流的环境为 Yarn ，不过逐渐容器式环境也慢慢流行起来。

spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。

1. Local模式

所谓的 Local 模式，就是不需 要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等， 之前在 IDEA 中运行代码的环境我们称之为开发环境，不太一样；

2. Standalone模式

local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的 独立部署（Standalone ）模式。 Spark 的 Standalone 模式体现了经典的 master-slave 模式。

3. 高可用模式(HA)模式

所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置；

4. Yarn模式

独立部署（ Standalone ）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark 主 要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是 和其他专业的资源调度框架集成会更靠谱一些；

5. Spark相关端口号

Spark 查看当前 Spark-shell 运行任务情况端口号： 4040 （计算） ；

Spark Master 内部通信服务端口号：7077；

Standalone 模式下，Spark Master Web 端口号：8080（资源）；

Spark 历史服务器端口号：18080；

Hadoop YARN 任务运行情况查看端口号：8088；