本文介绍了Yarn在生产环境中的核心参数配置，包括容量调度器的多队列配置，如按业务模块创建队列以提高并发度和任务优先级设置，以确保关键任务的资源优先分配。详细讲述了如何配置多队列，如按框架或业务部门命名，并通过修改配置文件实现队列的生效。此外，还探讨了任务优先级的配置，以应对资源紧张情况下的任务调度策略。
本文目录
本文案例配合：Yarn生产环境核心参数，原文地址：https://blog.csdn.net/lzb348110175/article/details/116272441
1.Yarn 生产环境核心参数配置案例
需求：
从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核CPU，4 线程。
需求分析：
1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster
一共最少要开启10个 Container 容器，平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3）
修改 yarn-site.xml 配置参数如下：(注意&#x
订阅专栏 解锁全文
扫一扫
366
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
