Hive>并行执行和严格模式

并行执行

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下,Hive一次只会执行一个阶段。不过,某个特定的job可能包含众多的阶段,而这些阶段可能并非完全互相依赖的,也就是说有些阶段是可以并行执行的,这样可能使得整个job的执行时间缩短。不过,如果有更多的阶段可以并行执行,那么job可能就越快完成。
通过设置参数hive.exec.parallel值为true,就可以开启并发执行。不过,在共享集群中,需要注意下,如果job中并行阶段增多,那么集群利用率就会增加。(提高查询效率)
set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度,默认为8。
当然,得是在系统资源比较空闲的时候才有优势,否则,没资源,并行也起不来。

严格模式

Hive提供了一个严格模式,可以防止用户执行“高危”的查询。
通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict。开启严格模式需要修改hive.mapred.mode值为strict,开启严格模式可以禁止3种类型的查询。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive并行执行原理涉及到Hive的优化和作业调度机制。在Hive中,可以通过设置参数来启用并行执行。其中,设置hive.optimize.skewjoin为true可以启用倾斜数据的并行处理,而设置hive.skewjoin.key为skew_key_threshold(默认值为100000)可以指定倾斜数据的阈值。\[1\] Hive的核心是Driver,而Driver的核心是SemanticAnalyzer。Hive实际上是一个SQL到Hadoop作业的编译器。在Hadoop上,最常见的作业是MapReduce,但Hive支持其他作业引擎,如Tez和Spark。Hive并行执行原理与MapReduce类似,但在执行优化上有所区别。\[3\] 总的来说,Hive通过将SQL语句转换为Hadoop作业来实现并行执行。通过优化和作业调度机制,Hive可以提高查询的执行效率和并行处理能力。\[2\] #### 引用[.reference_title] - *1* *3* [hive实现原理介绍](https://blog.csdn.net/breakout_alex/article/details/106938809)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Hive体系结构(二)Hive的执行原理、与关系型数据库的比较](https://blog.csdn.net/Lnho2015/article/details/51417880)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值