经过完成我们的第一个程序之后,我们大概知道了Spark是怎么样的一个简单开发过程。我们要写main方法,写完我们要提交,提交完之后Spark去执行。那么趁热打铁,我们去了解一下有关Spark的专业术语吧
Application
Spark应用程序,其实就是指上一篇我们编写的代码,包含了Driver代码和分布式集群中多个节点的Executor代码。
Driver
可以理解为main()函数。
- 创建SparkContext【准备Spark应用程序的运行环境】
- 和ClusterManager通信,进行资源的申请,任务的分配。
- 关闭SparkContext。
Cluster Manager
在集群内获取资源的外部服务,常用的一般就是Standalone,Yarn。
Executor
执行器
Application运行在woker节点的一个进程,负责运行Task,将数据存取在内存或者磁盘上。每个Application都有各自独立的一批Executor。
Worker
运行Application代码的节点。Yarn的NodeManager节点。Standalone模式下的woker节点。