hive的新分区和旧分区的概念问题

hive中的一个表格中的内容可以存储在不同分区(可以理解为分片).

 

[1]中描述的是,试图给表格新增一个字段,结果只给新分区进行了新增字段操作,老分区并没有影响,

需要使用如下的cascade写法

alter table tb add columns(col1 string) cascade;

 

[2]中试图查询最新的分区,但是又不希望遍历所有的分区来寻找,效率太低.

 

总结:

对于hive的操作,要时刻注意新分区和旧分区的问题.

否则会导致数据不完整以及性能低下的问题

 

 

Reference:

[1][Hive]新增字段(column)后，旧分区无法更新数据问题

[2]如何在HIVE表中找到最新的分区(How to find the most recent partition in HIVE table)