qq_43635968的博客

原创 hive优化策略

 hive优化策略：    1.表的优化：数据量大时，可以拆分表，大表拆分为小表，拆分为分区表，外部表。           小表和大表join，把数据量小的表放在join左边，先缓存，减少表join时的内存消耗量    2.数据倾斜：hive.map.aggr=true  （默认true） 这个配置项代表是否在map端进行聚合，相当于Combiner          在mapred...