hive使用动态分区为什么要用非严格模式
原因
Hive中的动态分区允许在插入数据时自动在表中创建新的分区。这是通过指定一个特殊的分区列,在这个列上的值是一个新的分区。如果插入的数据中的分区值在表中不存在,Hive将会为其创建一个新的分区。
默认情况下,当插入分区数据时使用的是严格模式。这意味着,如果插入的数据中的分区值在表中不存在,Hive会抛出一个错误。
然而,在某些情况下,你可能希望能够插入不符合预先定义好的分区值的数据。这可能是因为你正在填充缺失的分区,或者你有一些新的分区值,需要在表中自动创建新的分区。这时你就可以使用非严格模式来关闭Hive的检查。
非严格模式允许你在不抛出错误的情况下插入不存在的分区值。 这种模式对于数据清洗,填充缺失值都很方便
要在表上启用非严格模式,可以使用以下语句
下面展示一些 内联代码片
。
SET hive.exec.dynamic.partition.mode=nonstrict;
//注意: 这个配置只对当前会话或者当前脚本有效,需要重新设置配置项使其生效。
也可以永久修改
hive -hiveconf hive.exec.dynamic.partition.mode=nonstrict
在使用动态分区时使用非严格模式有以下几个优点
1.数据清洗: 在插入分区数据时,使用非严格模式可以避免错误或缺失分区信息导致的错误.
2.填充缺失值: 使用非严格模式可以在原有分区中填充缺失值.
3.新的分区值: 非严格模式可以在表中自动创建新的分区.
4.提高性能: 在数据量非常大的情况下,非严格模式可以减少检查提高性能
5.提高并行性能: 非严格模式可以减少对额外 I/O操作的需求,提高并行性能.
6.避免磁盘空间不足: 当插入非常大的数据量,并且需要创建很多新的分区时,使用非严格模式可以避免磁盘空间不足的错误.