本文介绍了Hive作业的优化方法，包括在数据量小时运行本地模式、启用JVM重用以减少启动时间、开启并行执行提高效率，以及查询优化如启用map side join、bucket map side join、skewjoin和CBO。此外，还建议使用CTE简化代码，并利用window functions提升查询复杂性。
1. Run in Local Mode
数据处理比较小的时候就运行本地模式，
不需要分布式。
把阀值这三个设置改一下就是本地模式了。
2. JVM Reuse
Hadoop每当得到一个map或者reduce任务的时候，
就会启动一个新的JVM。
处理job时间比较短，但是启动JVM太费时了。
配置成JVM Reuse可以大大优化
3. Parallel Exectution 并行执行
这个很常用的，默认是关闭的。
hive很多阶段是可以并行执行的，
并不是每个阶段都互相依赖，
如果集群中资源利用效率不高，可以考虑开启此选项。
4. 查询优化
（1）map side join 设置为enable
（2）bucket map side join 也设置为ena
678
1360
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
