Hadoop 教程 - Yarn核心参数配置案例

在Hadoop YARN的生产环境中，合理配置核心参数对于优化资源管理、提升作业执行效率和保障集群稳定性至关重要。以下是一个基于YARN的核心参数配置案例，以满足特定应用场景的需求：

应用场景

假设有一个生产环境，拥有3台服务器，每台服务器配置为4GB内存和4核CPU，计划从1GB数据中统计每个单词出现次数。此案例将展示如何配置YARN以高效运行此任务。

核心参数配置案例

1. 容器资源限制

   • 配置参数：yarn.scheduler.minimum-allocation-mb, yarn.scheduler.maximum-allocation-mb, yarn.scheduler.minimum-allocation-vcores, yarn.scheduler.maximum-allocation-vcores
   • 配置示例：考虑到任务需求和资源情况，可以设置每个容器至少分配256MB内存和1个虚拟CPU核心，最大分配不超过3GB内存和2个CPU核心，以避免资源浪费和过细的碎片化。

     yarn.scheduler.minimum-allocation-mb=256
     yarn.scheduler.maximum-allocation-mb=3072
     yarn.scheduler.minimum-allocation-vcores=1
     yarn.scheduler.maximum-allocation-vcores=2
     

2. 容量调度器配置

   • 配置参数：yarn.scheduler.capacity.root.queues, yarn.scheduler.capacity.root.<queue-name>.capacity, yarn.scheduler.capacity.root.<queue-name>.minimum-user-limit-percent
   • 配置示例：创建两个队列（default和custom），其中default队列占总资源的70%，custom队列占30%。确保每个队列中任何用户至少能获取到其队列资源的50%。

     yarn.scheduler.capacity.root.queues=default,custome
     yarn.scheduler.capacity.root.default.capacity=70
     yarn.scheduler.capacity.root.custome.capacity=30
     yarn.scheduler.capacity.root.default.minimum-user-limit-percent=50
     yarn.scheduler.capacity.root.custome.minimum-user-limit-percent=50
     

3. ApplicationMaster资源配置

   • 配置参数：yarn.app.mapreduce.am.resource.mb, yarn.app.mapreduce.am.command-opts
   • 配置示例：为MapReduce的ApplicationMaster分配合理的资源，例如512MB内存，并设置JVM堆大小。

     yarn.app.mapreduce.am.resource.mb=512
     yarn.app.mapreduce.am.command-opts=-Xmx384m
     

4. Map/Reduce任务资源

   • 配置参数：mapreduce.map.memory.mb, mapreduce.reduce.memory.mb, mapreduce.map.java.opts, mapreduce.reduce.java.opts
   • 配置示例：根据需求，每个Map任务分配256MB内存，Reduce任务分配512MB内存，并相应设置JVM堆大小。

     mapreduce.map.memory.mb=256
     mapreduce.reduce.memory.mb=512
     mapreduce.map.java.opts=-Xmx200m
     mapreduce.reduce.java.opts=-Xmx400m
     

5. 日志聚合

   • 配置参数：yarn.log-aggregation-enable, yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds
   • 配置示例：启用日志聚合功能，设置日志滚动检查间隔为300秒。

     yarn.log-aggregation-enable=true
     yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds=300
     

通过上述配置，可以有效管理YARN集群资源，确保任务高效执行。请根据实际集群规模和工作负载进一步微调这些参数。记得在修改配置后重启YARN服务以使更改生效。