Spark与flink计算引擎工作原理，2024年最新大数据开发studio基础

Spark搭建模式：
Local本地模式：单机本地使用多线程实现分布式计算,一般测试环境使用

standalone:

spark ON Yarn 常用（推荐），在实际开发中，大数据任务都有统一的资源管理和任务调度工具进行管理，YARN比较成熟，支持多种调度策略，例如Capcity等，可以使用YARN调度管理MR/Hive/spark/flink
spark ON Yarn本质是spark任务的字class字节码文件打包成jar包，上传到YARN集群的JVM中去运行，Spark On Yarn根据Driver运行在哪里分为2种模式:client模式和cluster模式

client模式：
spark的driver驱动程序，运行在提交任务的客户端上，和集群通信成本比较高
因为driver的在客户端，所以driver中的程序结果输出可以在客户端控制台看到

ApplicationMaster介绍
Hadoop用户向YARN集群提交应用程序时,提交程序中包含ApplicationMaster，用于向资源调度器申请执行任务的资源容器Container，运行用户自己的程序任务job，监控整个任务的执行，跟踪整个任务的状态，处理任务失败等异常情况。ResourceManager&#x