问题分析报告--压力环境下运行缓慢

问题分析报告--压力环境下运行缓慢


1、问题描述

1.1 基本信息[Basic Information]

  • 集群规模:37+3台物理机,每台128G内存;CPU:2*16C;SATA磁盘,2T*12
  • hadoop社区版本:**
  • 商业版本:FusionInsight_HD_V100R002C60U10
  • MetaStore:高斯数据库(Postgresql)

1.2 问题描述[Problem Description]

  • 10月26号出现大规模任务积压。跑批任务执行缓慢;

2、问题分析[Problem Analysis]

2.1 问题背景

出现运行慢包含如下两个问题:

1. 打开Yarn的任务日志页面,发现有大量的任务启动,但无法执行。每个任务使用的container均是1个。

2. 运行中的部分任务,比平时多消耗大约一到两分钟。

2.2 日志分析

问题1:

  出现该现象,是因为AM配置的资源百分比为0.6,导致每个队列的百分之六十的资源都消耗在AM启动上。

关于AM配置资源百分比参数(maximum-am-resource-percent)的说明:

 该参数是指,AM可以使用队列的资源配比。在mapreduce架构中。如果需要启动一个任务,就需要启动一个AM(Application Master)负责该任务的管理。 然后AM向ResourceManager申请队列资源,将任务拆分成多个执行子任务map和reduce。AM并不负责任务的计算,只负责子任务的分配、监控,调度。

  从问题的情况来看,由于该参数配置值为0.6。在大规模任务执行时,将出现多个任务均处于AM启动状态(百分之60资源),但是由于剩余执行子任务计算的资源只剩余40%。整体任务计算缓慢。

该参数在出厂设置值是0.1,修改成出厂默认值之后,大规模任务下整体时间有显著减少。

问题二:从日志分析,发现部分map、reduce任务启动时间较长。但执行时间短。通过jstack线程栈分析,发现执行操作系统命令执行缓慢。通过检查发现,在redhat6.5下触发了操作系统的bug。

详情请参看<XXXX>


3、根本原因[Root Cause]

  本问题主要包括两个方面:

  1. AM可以使用队列的资源配比参数配置不合理;
  2. 操作系统问题导致性能下降。

4、解决措施[Corrective Action]

4.1 最终解决措施[Solution]

  1. 修改参数maximum-am-resource-percent 为0.1。
  2. 修改操作系统参数
  • 步骤1. echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf
  • 步骤2. sysctl -p


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值