Hive优化的十条详细策略（下）

最新推荐文章于 2024-03-07 22:34:26 发布

Forever_ck

最新推荐文章于 2024-03-07 22:34:26 发布

阅读量305

点赞数 2

分类专栏： Hive 文章标签：大数据 Hive优化

本文链接：https://blog.csdn.net/forever_ck/article/details/85782934

版权

本文介绍了Hive优化的五个关键策略：并行执行通过设置`hive.exec.parallel`提高效率；严格模式通过`hive.mapred.mode=strict`防止资源浪费的查询；JVM重用通过调整Hadoop配置减少启动开销；推测执行通过开启Hadoop推测执行机制提升整体进度；压缩通过启用Map和Reduce阶段的压缩减少数据传输量。这些策略有助于提升Hive在大数据处理中的性能。

摘要由CSDN通过智能技术生成

继续我们前面地内容：
上篇：https://blog.csdn.net/Forever_ck/article/details/85777938
中篇：https://blog.csdn.net/Forever_ck/article/details/85780280
五、并行执行
Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit 阶段。或者 Hive 执行过程中可能需要的其他阶段。默认情况下，Hive 一次只会执行一个阶段。不过，某个特定的 job 可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个 job 的执行时间缩短。不过，如果有更多的阶段可以并行执行，那么 job 可能就越快完成。

通过设置参数 hive.exec.parallel 值为 true，就可以开启并发执行。不过，在共享集群中，需要注意下，如果 job 中并行阶段增多，那么集群利用率就会增加。

set hive.exec.parallel=true;    //打开任务并行执行
set hive.exec.parallel.thread.number=16;	//同一个 sql 允许最大并行度，默认为 8。

六、严格模式
Hive 提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。通过设置属性 hive.mapred.mode 值为默认是非严格模式 nonstrict 。开

最低0.47元/天解锁文章