事件: 在调整参数hive.exec.stagingdir之后,有的SQL报错,有的SQL可以正常运行。
截屏如下:
|
处理方法:
<property>
<name>hive.insert.into.multilevel.dirs</name>
<value>true</value>
</property>
原因:当hive.insert.into.mulltilevel.dirs设置成false的时候,insert 目标目录的上级目录必须存在。
如insert overwrite into directory '/user/data/pv/20160901/00/' select XXX from xxx where dt='20160901' and hour='00' 时,只存在/user/data/pv 目录,不存在20160901/00/ 目录。当hive.insert.into.mulltilevel.dirs设置成false的时候,insert 相当于只能建立目标目录,所以会失败。
以前不会失败的原因是,当hive.exec.stagingdir设置为.hive-staging时,由于临时目录在目标目录下面,所以创建临时目录时,会先创建目标目录,不存在目标目录不存在的问题。