hive分区处理注意点

在优化一个使用4W个map的job的时候，发现了一个使用hive的注意点，跟大家分享下。

hive表中一般都有分区，在程序里我们会动态取某个分区里的数据，这时分区值就是一个函数。这个函数的选择就是关键了。

优化前的分区函数是： dt = date_sub(from_unixtime(unix_timestamp(), 'yyyy-MM-dd'), 2) （水平有限，当时就这么写了） ，map数：4W+

优化后的分区函数是：dt = sysdate( - 2) （日期处理函数）， map数：860

之前map数过多是否是搂了很多分区，这个还不太确定，有哪位大神知道，麻烦告诉我下。

代码与业务有关，就不方便放这了。