yarn
荣晓
这个作者很懒,什么都没留下…
展开
-
yarn的工作流程
5.Container会先进行一个初始化的工作,初始化完成AM会通知对应的NM开启 container。7.container在运行期间会向AM汇报自己的进度,状态等信息,并与AM保持心跳。4.AM向RM申请响应数量的Container用来运行task任务。2.RM会去NM中开启一个container容器用来运行AM。8.等待应用执行完毕,AM向RM注销自己,并允许RM收回资源。6.NM开启container。1.客户端向RM提交作业。3.AM会向RM注册自己。原创 2023-03-14 20:37:33 · 47 阅读 · 0 评论 -
spark-submit 配置和实际申请到的yarn的资源是如何计算
spark-submit 申请yarn资源计算规则原创 2023-02-24 11:10:05 · 401 阅读 · 1 评论