Spark 第1部分 Spark大数据与Spark概述
Apache Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库。
Spark的下载链接
学习资源,代码及数据链接
1.Spark应用程序
Spark应用程序由一个驱动器进程和一组执行器进程组成。
驱动进程运行mian()函数,位于集群中的一个节点上:
维护Spark应用程序的相关信息;
回应用户的程序或输入;
分析任务并分发给若干执行器进行处理
执行器负责执行驱动器分配给它的实际计算工作:
执行驱动器分配给他的代码;
将执行器的计算状态报告给驱动器的节点。
SparkSessi
原创
2020-06-03 15:25:59 ·
207 阅读 ·
0 评论