本文详细介绍了Spark的三种运行模式：Local、Standalone和Yarn，以及Spark应用程序的属性设置，包括SparkConf、动态加载属性和默认配置文件。此外，还阐述了SparkSession的作用和四种提交方式。重点讨论了属性参数的加载顺序，强调了在不同场景下选择合适运行模式的重要性。
一Spark运行模式
1Spark On Local
此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，Local模式通常用于测试用，启用spark-shell即可使用（如果不指定N，则默认是1个线程）。
spark-shell 和 spark-shell --master local 效果是一样的
spark-submit 和 spark-submit --master local 效果是一样的
① local ：本地单线程运行；
②local[k]：本地K个线程运行，K个分区 K个线程模拟K个worker
③local[*]：用本地尽可能多的线程运行
2 Spark On Local Cluster（Spark Standalone）
Standalone是Spark自带的资源管理器，无需依赖任何其他资源管理系统。
在spark
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
