Hive严格模式

Hive严格模式

Hive提供了一个严格模式,可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式:

[java]  view plain  copy
  1. hive> set hive.mapred.mode=strict;  
设置为严格模式后,可以禁止3种类型的查询:

(1):带有分区的表的查询

如果在一个分区表执行hive,除非where语句中包含分区字段过滤条件来显示数据范围,否则不允许执行。换句话说就是在严格模式下不允许用户扫描所有的分区。进行这个限制的原因是,通常分区表都拥有非常大的数据集,而且数据增加迅速。如果不进行分区限制的查询会消耗巨大的资源来处理,如下不带分区的查询语句:

[java]  view plain  copy
  1. hive> SELECT DISTINCT(planner_id) FROM fracture_ins WHERE planner_id=5;  
执行后会出现如下错误:

[java]  view plain  copy
  1. FAILED: Error in semantic analysis: No Partition Predicate Found for Alias "fracture_ins" Table "fracture_ins  
解决方案是在where中增加分区条件:

[java]  view plain  copy
  1. hive> SELECT DISTINCT(planner_id) FROM fracture_ins  
  2.        > WHERE planner_id=5 AND hit_date=20120101;  

(2):带有order by的查询

对于使用了order by的查询,要求必须有limit语句。因为order by为了执行排序过程会将所有的结果分发到同一个reduce中进行处理,强制要求用户增加这个limit语句可以防止reduce额外消耗资源,如下是不带limit关键字的查询语句:

[java]  view plain  copy
  1. hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id;  
出现如下错误:

[java]  view plain  copy
  1. FAILED: Error in semantic analysis: line 1:56 In strict mode,  
  2. limit must be specified if ORDER BY is present planner_id  
解决方案就是增加一个limit关键字:

[java]  view plain  copy
  1. hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id  
  2.         > LIMIT 100000;  


(3):限制笛卡尔积的查询

对关系型数据库非常了解的用户可能期望在执行join查询的时候不适用on语句而是使用where语句,这样关系型数据库的执行优化器就可以高效的将where语句转换成那个on语句了。不幸的是,Hive并不支持这样的优化,因为如果表非常大的话,就会出现不可控的情况,如下是不带on的语句:

[java]  view plain  copy
  1. hive> SELECT * FROM fracture_act JOIN fracture_ads  
  2. > WHERE fracture_act.planner_id = fracture_ads.planner_id;  
出现如下错误:

[java]  view plain  copy
  1. FAILED: Error in semantic analysis: In strict mode, cartesian product  
  2. is not allowed. If you really want to perform the operation,  
  3. +set hive.mapred.mode=nonstrict+  

解决方案就是加上on语句:

[java]  view plain  copy
  1. hive> SELECT * FROM fracture_act JOIN fracture_ads  
  2.         > ON (fracture_act.planner_id = fracture_ads.planner_id);  
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值