Application Master在Yarn中,每个Application实例都有一个Application,实例都有一个 Application Master进程,它是Application启动的第一个容器。它负责和ResourceManger打交道,并请求资源,获取资源之后告诉NodeManager,为其启动container.
ResourceManger:负责将集群的资源分配给各个应用使用,而资源分配和调度的基本单位是container,其中封装了集群资源(Cpu、内存、磁盘等),每个任务只能在Container中运行,并且只使用container的资源
NodeManger:是一个计算节点,负责启动application所需的container,并监控资源的使用情况混包给ResourceManger
yarn-cluster模式,spark-submit在提交的时候请求到ResourceManager,请求来启动ApplicationMaster,ResourceManger接收到请求后会分配一个container,在某个NodeManager上启动ApplicationMaster,ApplicationMaster()启动,后会反过来向resourceManager进行通讯,其实这个ApplicationMaster就相当于是driver,AM找RM请求container启动executor,然后RM会分配一批container,用于启动executor,AM链接其他的NM,来启动executor,这里的nm相当于worker,execcutor向AM反向注册。ResourceManager
相当于之前你的master.适合在生产环境,结果存储在HDFS上,
yarn-client模式,saprk-submit在提交的时候发现送给RM,请求 启动AM,分配一个container,在某个NM上,启动AM,但是这里的AM只是一个ExecutorLauncher,功能是很有限的,AM启动后会招呼RM申请container,启动executor,AM链接其他的NM,用container的资源来启动executor,executor会反向注册到本地的driver上。
适用与交互和调试,希望快速看到输出。
yarn-cluster和yarn-client区别:cluster的driver相当于就是在nm上的某一个AM;client的driver还是本地启动的一个进昵称,在nm启动的AM只是一个ExecutorLauncher,ExecutorLauncher只会向Rm申请资源,然后用container资源去链接其他的Nm,然后启动executor,executor启动后会反向注册到提交应用程序的本地客户端的driver进程上,通过本地客户端的driver进程里面的DAGScheduler、TaskSccheduler会大量进行task的进度,发送到NM上的executor上执行。