sparksql压缩小文件

SET spark.sql.shuffle.partitions=2;
SET spark.sql.adaptive.enabled=true;
SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=268435456;
insert overwrite table table_name partition(stat_dt) select * from source_table_name where stat_dt='20160701' distribute by id;

spark.sql.shuffle.partitions :设置的是RDD1做shuffle处理后生成的结果RDD2的分区数，一个作业一旦设置了该参数，它运行过程中的所有阶段的reduce个数都是同一个值。默认值: 200。为了发挥集群效率，一般建议设置初始分区的1.5-2倍之间。这里为了使结果分区数变少，设置得较小。

spark.sql.adaptive.enabled :自适应执行框架的开关。默认false。设置shuffle partition的上下限区间，在这个区间内对不同作业不同阶段的reduce个数进行动态调整。通过区间的设置，一方面可以大大减少调优的成本(不需要找到一个固定值)，另一方面同一个作业内部不同reduce阶段的reduce个数也能动态调整。
spark.sql.adaptive.minNumPostShufflePartitions               默认为1     reduce个数区间最小值
spark.sql.adaptive.maxNumPostShufflePartitions              默认为500     reduce个数区间最大值
spark.sql.adaptive.shuffle.targetPostShuffleInputSize        默认为67108864     动态调整reduce个数的partition大小依据，如设置64MB则reduce阶段每个task最少处理64MB的数据
spark.sql.adaptive.shuffle.targetPostShuffleRowCount      默认为20000000     动态调整reduce个数的partition条数依据，如设置20000000则reduce阶段每个task最少处理20000000条的数据
 

spark.sql.adaptive.shuffle.targetPostShuffleInputSize :该参数是用于开启spark的自适应执行，这是spark比较老版本的自适应执行，后面的targetPostShuffleInputSize是用于控制之后的shuffle 阶段的平均输入数据大小，防止产生过多的task