- 1.
Local本地模式--开箱即用
- 2.Standalone独立集群模式–Spark自己的集群–不用!
- 3.Standalone-HA高可用集群模式–Spark自己的集群+ZK --偶尔用!但很少
- 4.==SparkOnYarn模式–分为Cluster模式(开发中使用)==和Client模式
- 5.SparkOnK8s 未来可能会流行(涉及到云计算/容奇/虚拟化技术…)
SparkOnYarn-Cluster
为什么开发中使用SparkOnYarn的Cluster模式:
- 1.为什么使用OnYarn:因为YARN作为一个资源/任务调度框架很成熟稳定,调度策略灵活(FIFO/Capacity/Fair等调度策略),在公司中使用广泛,可以对资源进行统一的调度管理,如可以使用YARN调度MapReduce/Spark/Flink等…
- 2.为什么使用Cluster:
因为在Cluster模式下,Driver运行在Yarn的集群上,Driver和Worker集群之间的通信成本较低
- 因为Driver在AM上,Worker在NM上,都在Yarn集群上
SparkOnYarn-Client
- 开发不用