Hadoop 教程 - Hadoop调优之Yarn生产经验

在Hadoop生产环境中，针对YARN（Yet Another Resource Negotiator）的调优是确保集群资源高效利用的关键。以下是一些基于生产经验的YARN调优策略：

1. 资源配置调整

• Container资源限制：通过调整yarn.scheduler.maximum-allocation-mb(最大内存分配) 和 yarn.scheduler.maximum-allocation-vcores(最大CPU核数) 来设定单个容器的最大资源量。确保这些值与节点的实际资源相匹配，既不浪费也不过度紧张。

• NodeManager资源预留：使用yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来设置每个NodeManager可用于YARN应用程序的总资源量。同时，考虑保留一部分资源供系统服务使用，通过yarn.nodemanager.resource.system-reserved-memory-mb等参数设置。

2. 调度策略优化

• 选择合适的调度器：YARN提供了两种主要的调度器——容量调度器（CapacityScheduler）和公平调度器（FairScheduler）。根据业务需求选择合适的调度策略，容量调度器适用于固定比例资源分配的场景，而公平调度器更适用于动态共享资源的场景。

• 队列配置：合理配置队列的数量、资源占比和优先级。对于容量调度器，通过yarn.scheduler.capacity.root.queues、yarn.scheduler.capacity.root.<queue-name>.capacity等配置队列属性；对于公平调度器，则通过yarn.scheduler.fair.allocation-file指定的配置文件来管理队列资源分配。

3. 容错与稳定性

• ResourceManager HA：启用ResourceManager的高可用配置，确保在主ResourceManager失败时能够无缝切换至备用 ResourceManager。

• NodeManager重连：配置适当的超时和重试策略，如yarn.resourcemanager.nm.liveness-monitor.interval-ms和yarn.nm.client.connection.max-retries，以增强系统的容错能力。

4. 监控与日志

• 启用和优化日志聚合：通过yarn.log-aggregation-enable开启日志聚合功能，并合理配置聚合频率和保留策略，以方便故障排查和性能分析。

• 使用YARN Web UI和CLI：定期检查YARN Web UI以监控应用状态、队列使用情况和资源分配。利用YARN的CLI工具进行作业管理和问题诊断。

5. 动态资源分配

• 启用动态分配：对于支持的应用，启用动态资源分配（通过配置yarn.scheduler.dynamic-resource-allocation.enabled），使应用程序能够根据实际需要请求和释放资源，提高资源利用率。

6. Shuffle优化

• Shuffle文件的本地化：确保Shuffle文件尽可能在本地节点处理，减少网络传输。可以通过YARN的延迟调度特性来优化。

7. 定期维护与升级

• 软件升级：保持Hadoop和YARN组件的最新状态，利用新版本中的性能改进和bug修复。

• 集群健康检查：定期进行集群健康检查，包括硬件状态、网络状况、磁盘使用率等，及时发现并解决问题。

通过综合运用上述策略，可以有效提升YARN集群的资源利用率、作业执行效率和整体稳定性。调优是一个持续的过程，需要根据集群运行的实际数据和业务需求不断调整和优化。