1、分区不宜过多
创建分区可以让Hive不必对输入进行全盘扫描,确实可以优化查询。但是使用过多分区会带来两方面的问题:
(1)HDFS设计用于存储数百万的大文件,而不是数十亿的小文件。使用过多分区会创建大量的非必须的hadoop文件和文件夹。一个分区对应一个包含多个文件的文件夹。如果指定的表存在数百个分区,则可能每天都会创建好几万个文件。
(2)MapReduce会将一个任务(job)转化成多个任务(task)。默认情况下每个task都是一个JVM实例,都需要开启和销毁。对于小文件,每个文件都会对应一个task。在一些情况下,JVM开启和销毁的时间可能会比实际处理数据的时间要长。
2、理想的分区方案不应该产生太多的分区和文件夹目录,并且每个目录下的文件应该足够大,应该是文件系统中块的若干倍。
3、如果用户不能够找到好的、大小相对合适的分区方式的话,那么可以考虑使用分桶存储
[Hive]hive分区设置注意事项
最新推荐文章于 2024-05-13 13:35:30 发布