![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
文章平均质量分 95
3分钟秒懂大数据
互联网大厂工作人员、专注于 Flink、Spark、ElasticSearch、Clickhouse、Kafka、Hadoop、Hive、Hbase 等技术组件的研究和分享,提供实时数仓、离线数仓、数据湖等最前沿的技术博客!
展开
-
Flink on Yarn 远程 debug 应用提交流程及源码分析
采用flink 1.13.2版本对flink on yarn per-job 模式进行流程分析及源码调试原创 2021-12-13 10:34:36 · 2861 阅读 · 6 评论 -
Yarn工作原理(大数据学习14)
YARN是一个集群资源的管理与任务调度的分布式框架Yarn的组件架构: Yarn 架构图Yarn 架构图运行流程客户端提交应用程序给ResourceManager ResouceManager会生成ApplicationMaster,并在某一个节点...原创 2019-03-11 15:44:05 · 461 阅读 · 0 评论 -
MapReduce程序运行在yarn集群流程分析(大数据学习15)
文字叙述流程1.将自己的mapReduce程序打成jar,在提交资源时(job.submit),首先会与YarnRunner建立通信,通过代理方式向ResourceManager申请提交一个application2.ResourceManager返回application,id资源提交路径和当前申请application 拼接成一个唯一的完整资源提交路径3.提交job运行所需要的...原创 2019-03-11 15:53:58 · 347 阅读 · 0 评论