两种yarn集群提交方式

  1. yarn
    yarn是一种新的hadoop资源管理器,包括
    一个全局的资源管理器ResourceManager,ResourceManager的每个节点代理NodeManager,
    每个应用的APplicationMaster,
    每个ApplicationMaster拥有多个Container在NodeManager上运行
  2. yarn-client提交模式
    一般用于测试,在本地启动driver,发送请求给RM,请求启动AM,RM分配一个container在某个NM上,启动AM(ExecutorLauncher),RM分配一批container,AM连接其他NM,使用container资源启动executor,executor反向注册到本地的driver上。由于driver运行在本地,可方便看到所有日志方便调试,同时,调度application时,会与yarn集群产生大量的网络通信。
  3. yarn-cluster提交模式
    发送请求给RM,请求启动AM,RM分配container在某个NM上,启动AM,RM启动一批container,AM找RM请求container,启动executor,executor向AM反向注册。此时AM相当于driver。不方便看日志,driver运行在集群,没有网络通信问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值