spark还有hive调优

提交的种类有很多种，spark sql 、submit等等，不过都是分配资源方面的，可以再去了解一下

提交这个任务的话默认并行度是200,就是说reduce会产生200个文件，这会产生大量的小文件问题，–设置spark并行度为1，解决小文件过多问题
set spark.sql.shuffle.partitions=1，但是大多数情况下如果数据量过大的话，还要提高并行度的，所以这里是个奇葩。

当初遇到这个问题是

select part_dt,count(*)
from dmb_data_nyd.dmb_rsk_bfq_aft_loan_info
group by part_dt
order by part_dt desc`

在这个表上执行很慢，表的大小只有2G，按天分区，隔壁的20G一分钟也就跑完了，调优了半天觉得是小文件的问题，但是只是单纯调整map，reduce个数，并行度，JVM重用等，效果不大，后来才发现这个表示spark执行的，每个分区下面默认又生成了 200分文件，但是这个表每天的数据量只有1M,这下小文件的名头坐实了，同时以后注意，调优的时候首先可以找同类型的表来进行测试看sql语句是否有问题，如果没有问题执行又特别慢的话直接去表的源头查看表的情况，包括大小和分区数目，然后再针对性的进行调整，不要上来就进行调整，效率很低，除此以外，如果是小文件的问题的话，要注意多种手段同时使用，不是调整一下输入端CombineFileInputFormat就可以的。