LLDDDS的博客

Hive分桶 分桶是将数据分解成更容易管理的若干部分的一个技术,比分区有着更为细粒度的数据范围划分. 为什么要进行分桶呢? 1**. 利用分桶表,我们能获得更高效的查询处理效率.** 当分区数量过于庞大以至于可能导致文件系统崩溃时,或者我们找不到合理的分区字段时,可以考虑使用分桶表来解决问题. 同时,分区与分桶并不冲突,可以对分区后的数据进一步进行分桶.分区针对的是对文件的存储路径进行划分,进而分成一个个不同的文件夹,这样的数据是容易造成数据倾斜的.而分桶的原理是按照哈希值对数据打散，并分发到各个不同的桶中

Error while processing statement: FAILED:Execution Error,return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 优化方法有一下几种: 一:是调大内存(Yarn和MR) 二:是开启有序动态分区， 三:是关闭mapjoin 四:是分批执行计算 五:是使用本地模式 关闭mapjoin：set hive.auto.convert.join=false; 开启本地模式：se