Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成更小的数据集。那么在Hive中如何进行数据分区呢?分区时应该注意什么样的问题呢?它的分区数如何进行限制呢?
一、Hive only:加载分区数据的快捷方法
如果指定的分区不存在Hive将创建新的分区
这个命令将:
(1)如果不存在的话添加分区到表的元数据
(2)如果存在的话,创建子目录:/user/hive/warehouse/call_logs/call_date=2014-10-02
Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成更小的数据集。那么在Hive中如何进行数据分区呢?分区时应该注意什么样的问题呢?它的分区数如何进行限制呢?
一、Hive only:加载分区数据的快捷方法
如果指定的分区不存在Hive将创建新的分区
这个命令将:
(1)如果不存在的话添加分区到表的元数据
(2)如果存在的话,创建子目录:/user/hive/warehouse/call_logs/call_date=2014-10-02