关于hive的严格模式

关于hive的严格模式

定义：防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。

通过设置hive.mapred.mode = strict ，可以禁止三种类型的查询：

set hive.mapred.mode=strict;	

• 带有分区的表查询
• 带有order by的表查询
• 限制笛卡尔积的查询

带有分区的表查询

在执行分区表的时候，如果where语句中不包含分区字段过滤条件来限制数据范围，就不允许查询。换句话就是，不允许用户扫描所有的分区。进行这个限制的原因是：通常分区表都拥有非常大的数据集，而且数据增加迅速，如果没有进行分区限制的查询，可能会消耗大量资源来处理这个表。

带有order by的查询

使用order by，必要要有limit语句，因为全排序会将结果分发到一个reduce处理，可能会很耗费时间