一. Spark 编程模型
1.Spark 应用程序有两部分组成:Driver/Executor
2.Spark 应用程序基本概念
3.Spark 应用程序编程模型
– Driver Program ( SparkContext )
– Executor ( RDD 操作)
输入 Base-> RDD
Transformation RDD->RDD
Action RDD->driver or Base
缓存 Persist or cache()
– 共享变量
broadcast variables
accumulators
二.RDD
三.Spark-shell 程序调试
四.IDEA程序调试
Spark-编程模型
最新推荐文章于 2024-09-06 14:18:07 发布