sql优化之-------spark实现hql时发现的order by、sort by 性能问题

1.删除分区

ALTER TABLE my_partition_test_table DROP IF EXISTS PARTITION (p_loctype='MHA');

2.显示分区：

show partitions driver_ride_info

3.动态插入分区

insert overwrite table loan_f_milestone partition(day)

select *,

to_date(atv_tim)

报错日志：

Error: Java heap space

Error: Java heap space Task attempt attempt_1540804346591_19078_r_000000_2 is done from TaskUmbilicalProtocol's point of view. However, it stays in finishing state for too long

单独查询 （不差入）：可以正确运行

分析 ：动态分区插入数据时导致 内存不足

解决方案：

①1、查看系统是否有使用大内存的代码或死循环。

2、可以添加JVM的启动参数来限制使用内存：-XX:-UseGCOverheadLimit

set mapreduce.map.java.opts=-Xmx1800m -XX:-UseGCOverheadLimit

②

在HQL末尾加上distri