- yarn
yarn是一种新的hadoop资源管理器,包括
一个全局的资源管理器ResourceManager,ResourceManager的每个节点代理NodeManager,
每个应用的APplicationMaster,
每个ApplicationMaster拥有多个Container在NodeManager上运行 - yarn-client提交模式
一般用于测试,在本地启动driver,发送请求给RM,请求启动AM,RM分配一个container在某个NM上,启动AM(ExecutorLauncher),RM分配一批container,AM连接其他NM,使用container资源启动executor,executor反向注册到本地的driver上。由于driver运行在本地,可方便看到所有日志方便调试,同时,调度application时,会与yarn集群产生大量的网络通信。 - yarn-cluster提交模式
发送请求给RM,请求启动AM,RM分配container在某个NM上,启动AM,RM启动一批container,AM找RM请求container,启动executor,executor向AM反向注册。此时AM相当于driver。不方便看日志,driver运行在集群,没有网络通信问题。
两种yarn集群提交方式
最新推荐文章于 2024-08-13 22:40:30 发布