问题分析报告--简单SQL启动MR

1、问题描述

1.1 基本信息[Basic Information]

  • 集群规模:37+3台物理机,每台128G内存;CPU:2*16C;SATA磁盘,2T*12
  • hadoop社区版本:**
  • 商业版本:FusionInsight_HD_V100R002C60U10
  • MetaStore:高斯数据库(Postgresql)

1.2 问题描述[Problem Description]

  • 10月24号发现之前执行select * from table这种语句,很多都转换成MR提交到yarn队列上了,导致集群任务大量堆积;

2、问题分析[Problem Analysis]

导致问题的原因是c30的版本的hive.fetch.task.conversion参数默认为more,到c60改成了minimal。这样做原因是考虑到安全的因素。

这个参数功能是控制对于select 单表是否要启动mr。在minimal的情况下,可能会导致hiveserver处理大量的这样的fetch操作,使得hiveserver的压力增大,导致影响其它请求的及时响应。

C60改成minimal后,当需要fetch的数据大于设置的阈值的时候,就会出现原来没有启动mr的sql语句,启动sql语句了。


3、根本原因[Root Cause]

  新版本由于上述原因,改变了参数的默认值,没考虑到在交互式查询中,客户大量使用了这种select * from table的方式,而产生了大量的MR任务。

4、解决措施[Corrective Action]

4.1 最终解决措施[Solution]

  1. 将hive.fetch.task.conversion的默认值minimal,改成more
  2. 客户的使用方式需要将这种select * from table 加上一个limit操作,因为我们了解到用户使用这个语句,只是为了查看表结构信息或者只是看几条数据,所以加上limit就既可以满足需要,又避免hiveserver出现问题
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值