spark的组件组成部分介绍

 

1.Driver

   它会运行客户端写好的main方法，并且它会创建sparkcontext对象，该对象是所有spark程序的执行入口。

2.Application

它就是一个应用程序，它包括了Driver端的代码逻辑和任务在执行的时候需要的资源信息。

3.clusterManager   ：它既是给当前任务提供计算资源的外部服务

     standAlone

     它是spark自带的集群模式，整个任务的资源分配由master负责

     Yarn

       Spark程序可以提交到yarn中去运行，整个任务的资源分配由ResourceManager负责。

     Mesos

     就是一个apache开源的类似于yarn的资源调度平台

4.Master

     它是整个spark集群的老大，它负责资源的分配。

5.Worker

它是整个spark集群的小弟，它负责任务的计算节点

6.Excutor

 它是一个进程，它会在worker节点上启动对应的executor进程

7.task

它就是一个线程，它是以线程的方式运行在worker节点的executor进程中。

二.程序的执行方式  

Bin/spark-submit \

--class org.apache.spark.examples.sparkpi \

--master spark://node:7077 \

--executor-memory 1G \

--total-executor-cores 2 \

Examples/jars/spark-examples_2.11-2.1.3.jar \

10

说明：

--class:指定程序的主类

--master：指定master地址

--executor-memory：指定每一个executor需要的内存大小

--total-executor-cores:执行总的cpu核数