hive使用动态分区为什么要用非严格模式，有什么优点

hive使用动态分区为什么要用非严格模式

---

原因

Hive中的动态分区允许在插入数据时自动在表中创建新的分区。这是通过指定一个特殊的分区列，在这个列上的值是一个新的分区。如果插入的数据中的分区值在表中不存在，Hive将会为其创建一个新的分区。

默认情况下，当插入分区数据时使用的是严格模式。这意味着，如果插入的数据中的分区值在表中不存在，Hive会抛出一个错误。

然而，在某些情况下，你可能希望能够插入不符合预先定义好的分区值的数据。这可能是因为你正在填充缺失的分区，或者你有一些新的分区值，需要在表中自动创建新的分区。这时你就可以使用非严格模式来关闭Hive的检查。

非严格模式允许你在不抛出错误的情况下插入不存在的分区值。 这种模式对于数据清洗,填充缺失值都很方便

要在表上启用非严格模式，可以使用以下语句
下面展示一些 内联代码片。

SET hive.exec.dynamic.partition.mode=nonstrict;
//注意: 这个配置只对当前会话或者当前脚本有效，需要重新设置配置项使其生效。

也可以永久修改

hive -hiveconf hive.exec.dynamic.partition.mode=nonstrict

在使用动态分区时使用非严格模式有以下几个优点

1.数据清洗: 在插入分区数据时，使用非严格模式可以避免错误或缺失分区信息导致的错误.
2.填充缺失值: 使用非严格模式可以在原有分区中填充缺失值.
3.新的分区值: 非严格模式可以在表中自动创建新的分区.
4.提高性能: 在数据量非常大的情况下，非严格模式可以减少检查提高性能
5.提高并行性能: 非严格模式可以减少对额外 I/O操作的需求，提高并行性能.
6.避免磁盘空间不足: 当插入非常大的数据量，并且需要创建很多新的分区时，使用非严格模式可以避免磁盘空间不足的错误.