spark的client和cluster的模式介绍(五)

Application Master在Yarn中，每个Application实例都有一个Application,实例都有一个 Application Master进程，它是Application启动的第一个容器。它负责和ResourceManger打交道，并请求资源，获取资源之后告诉NodeManager,为其启动container.

ResourceManger:负责将集群的资源分配给各个应用使用，而资源分配和调度的基本单位是container,其中封装了集群资源（Cpu、内存、磁盘等），每个任务只能在Container中运行，并且只使用container的资源

NodeManger：是一个计算节点，负责启动application所需的container,并监控资源的使用情况混包给ResourceManger

yarn-cluster模式，spark-submit在提交的时候请求到ResourceManager,请求来启动ApplicationMaster,ResourceManger接收到请求后会分配一个container,在某个NodeManager上启动ApplicationMaster,ApplicationMaster()启动，后会反过来向resourceManager进行通讯，其实这个ApplicationMaster就相当于是driver,AM找RM请求container启动executor,然后RM会分配一批container,用于启动executor，AM链接其他的NM，来启动executor,这里的nm相当于worker,execcutor向AM反向注册。ResourceManager

相当于之前你的master.适合在生产环境，结果存储在HDFS上，

yarn-client模式，saprk-submit在提交的时候发现送给RM，请求 启动AM，分配一个container,在某个NM上，启动AM，但是这里的AM只是一个ExecutorLauncher,功能是很有限的，AM启动后会招呼RM申请container,启动executor，AM链接其他的NM，用container的资源来启动executor,executor会反向注册到本地的driver上。

适用与交互和调试，希望快速看到输出。

yarn-cluster和yarn-client区别：cluster的driver相当于就是在nm上的某一个AM；client的driver还是本地启动的一个进昵称，在nm启动的AM只是一个ExecutorLauncher,ExecutorLauncher只会向Rm申请资源，然后用container资源去链接其他的Nm,然后启动executor,executor启动后会反向注册到提交应用程序的本地客户端的driver进程上，通过本地客户端的driver进程里面的DAGScheduler、TaskSccheduler会大量进行task的进度，发送到NM上的executor上执行。