hive 实现job并发执行

最新推荐文章于 2022-10-10 16:07:22 发布

lixiaotaoplus

最新推荐文章于 2022-10-10 16:07:22 发布

阅读量7.1k

点赞数 2

分类专栏： Hive Hadoop 文章标签： hadoop hive job并发

本文链接：https://blog.csdn.net/lixiaotaoplus/article/details/46757237

版权

在Hive中，通过设置`hive.exec.parallel=true`可以启用job并发执行，提高SQL执行速度。默认并发数为8，若需调整，可使用`hive.exec.parallel.thread.number`参数定制并发线程数。例如，一个包含98个job的任务，原需3小时，设置后只需10分钟，显著提升效率，但会增加资源消耗。

摘要由CSDN通过智能技术生成

hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。
如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。

set hive.exec.parallel=true;

例如：

sql="""
set hive.exec.parallel=true;
use database;
select a,b,c
from
(
    select a1 as a,b1 as b,c1 as

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lixiaotaoplus

关注关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hive多任务并发同时插入目标表

10-20

2765

1.业务上有需求需要并发读取多个来源表，然后插入到目标表，询问是否会有啥报错？ 2.第一感觉是可能会发生并发写报错，然后进行测试。 3.准备数据1G（太少看不到过程），按行划分 4.建立三张表test1.，test2，test3 create table test1(id string); create table test2(id string); create table test3(id string); 5.test1,test2为来源表，test3为目标表 6.首先test1，tes

Hive>并行执行和严格模式

qq_44509920的博客

12-02

517

并行执行 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的阶段可以并行执行，那...

1 条评论您还未登录，请先登录后发表或查看评论

Hive实现并发

07-25

hive实现并发机制：hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。

Hive性能调优之并行执行(3)

大数据梦想家

12-01

6649

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并...

Hive参数与性能调优参考

东城庞太师

06-14

632

Hive参数与性能企业级调优

hive stage job等划分

Jomly Kellenda的博客

03-19

897

1.通过explain可以清晰的看到stage划分。常见的是各个算子（join groupby orderby 等有shuffle）或者是一些filter where等。 2.基于上面的1就可以划分出stage。但是有些stage并不会执行，或者说经过优化器后的filter where会在其他stage里进行。这样，有些stage就是空的stage。 3.基于stage划分，如何确定job数量（总数就是stage数量）。主要是看哪些stage会执行。只有需要执行的stage才会提交yarn，生成具体的j

hive实现任务并行执行

qq_27552579的博客

05-18

1632

hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 下面是对于该参数的测试过程: 测试sql: select r1.a from (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2 on (r1.a=r2.b); 1 Set hive.e

hive并行执行job

东杰书屋

12-28

5931

用过oracle rac的应该都知道parallel的用途。并行执行的确可以大的加快任务的执行速率，但不会减少其占用的资源。在hive中也有并行执行的选项。 set hive.exec.parallel=true; //打开任务并行执行 set hive.exec.parallel.thread.number=16; //同一个sql允

Hive stage划分

初心江湖路的博客

10-22

8551

若想知道Hive stage是怎么划分的，需要对Hive的架构有些了解，下面通过一张图来展示本文关心Hive是怎么划分stage的，而这一部分主要跟Compiler有关，所以我们先看看Compiler Parser：解析器，解析查询语句，解析成解析树。 Semantic Analyser：语法分析器，将解析树转换成内部查询表示。对列名、类型做检查，类型转换、隐式转换也在这一阶段进行，这一步之后...

hive调优

sj天问的博客

10-30

2674

执行计划（Explain） 1）基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 2）案例实操（1）查看下面这条语句的执行计划没有生成MR任务的 hive (default)> explain select * from emp; Explain STAGE DEPENDENCIES: Stage-0 is a root stage STAGE PLANS: Stage: Stage-0 Fetch Operat

hive执行时map任务数的确定

epitomizelu的专栏

05-21

1505

首先，Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是： goalSize = totalSize / mapred.map.tasks minSize = max {mapred.min.split.size, minSplitSize} splitSize = max (minSize, min(goalSize, dfs.block.size)) totalSize是一个JOB的所有map总的输入大小，即Map input bytes。参数mapr

一个hive任务的分析

学无止境

10-17

8269

一位开发人员每天跑相同的任务，但是他发现某一天同样的任务处理大约差不多量的数据（都是大约4亿条，hive count的结果），处理时间却相差3倍之多，一个不到一个小时，一个运行了三个小时，记录一下分析步骤。 1. 首先用explain看一下hive语句执行步骤再去找对应的job任务。可以看出此sql语句分4个任务去跑。 Stage-1：执行join操作 Stage-2：根据St

大数据开发之Hive优化篇8-Hive Job优化

只是甲的博客

06-17

9476

备注: Hive 版本 2.1.1 文章目录Hive job优化概述一.并行执行二.本地执行三.合并输入小文件四.合并输出小文件五.控制Map/Reduce数5.1 控制Hive job中的map数5.1.1 合并小文件，减小map数5.1.2 适当增加map数5.2 控制hive任务的reduce数参考 Hive job优化概述实际开发过程中，经常会遇到hive sql运行比较慢的情况，这个时候查看job的信息，也是一直在运行，只是迟迟的不出结果。可以从如下几个方面来优化hive sql的job:

一张图解决hadoop的job形成，job数据划分，split划分--你们别害怕哦

qq_39923024的博客

03-06

1320

hive 中reduce个数设定

qq_41508919的博客

04-09

1437

说明：hive版本为1.2.1 hive调整reduce个数在hadoop的mapred-default.xml文件中修改设置每个job的Reduce个数 hive> set mapreduce.job.reduces = 5;

提高 yarn 平台任务的并发执行数量

骑着蜗牛向前跑的博客

10-10

2471

让 yarn 同事执行多个任务，可以提高集群资源的利用效率，也提高了任务的执行效率。description 写的很清楚：所有正在运行的 application 使用的资源占集群总资源的最大百分比。经常会看到一个现象，RUNNING 状态的 application 使用的内存资源大于我们提交任务时申请的资源数。yarn 平台为任务分配资源的时候，有最小资源分配数和最大资源分配数的限制，且这两个限制都可以通过配置参数修改。实际 executor 分配的内存 = 申请的内存 + 额外配置的内存。

Hive基本调优

jim8973的博客

03-15

964

Reduce阶段优化调整方式： – set hive.exec.reducers.bytes.per.reducer 每个reduce能够处理的数据量大小，默认是256M – set hive.exec.reducers.max 最大可以开启的reduce个数，默认是999个在只配了hive.exec.reducers.bytes.per.reducer以及hive.exec.reducers...