大数据技术架构(组件)5——Hive：流程剖析2

1.1.2、Stage division（不够细致，需要例子）

Stage理解：

结合对前面讲到的Hive对查询的一系列执行流程的理解，那么在一个查询任务中会有一个或者多个Stage.每个Stage之间可能存在依赖关系。没有依赖关系的Stage可以并行执行。

Stage是Hive执行任务中的某一个阶段，那么这个阶段可能是一个MR任务，也可能是一个抽取任务，也可能是一个Map Reduce Local ,也可能是一个Limit。

何时划分Stage:

那么Stage划分的时机其实是发生在逻辑计划转化OperatorTree转化成物理计划的阶段TaskTree，按照深度优先遍历OperatorTree,再结合具体执行引擎的Compiler(MR/Tez/Spark)应用规则生成对应的Task。

Stage划分的界限决定于ReduceSinkOperator，在遇到ReduceSinkOperator之前的Operator都划分到Map阶段，同时也标识这Map阶段的结束。该ReduceSinkOperator到下一个ReduceSinkOperator阶段中间的部分划分为Reduce阶段。一个MR任务代表一个Stage（当然也包括其他非MR，如FetchTask、MoveTask、CopyTask）。

划分规则(按照MR为例子)：

R1: TS% ---->生成MapRedTask对象，确定MapWork

R2:TS%.*RS --->遇到第一个ReduceSinkOperator，划分Map阶段，确定ReduceWork

R3:RS%.*RS% ---->生成新的MapRedTask，切分MapRedTask。这个时候已经生成一个Job

R4:FS% ----> 连接MapRedTask和MoveTask。

R5:UNION% ---->如果所有的子查询都是map-only，则把所有的MapWork进行合并连接。

R6:UNION%.*RS% --->遇到ReduceSinkOpeartor，则合并Stage，

R7:MAPJOIN%

demo

insert ovewrite table test 
select
    distinct url
from tmp.test
where date_id='2021-06-08' and length(url)>0 and url is not null
distribute by rand()
limit 10000

第一个Job发生的Map阶段：

第一个Job发生的Reduce阶段:

第二个Job发生的Map阶段

第二个Job发生的Reduce阶段

第三个Job发生的Map阶段

第三个Job发生的Reduce阶段

从sql查看具体的生成的job

create table wedw_tmp.test as
select
    t1.user_id,count(1)
from test1 t1
left join test1 t2
on t1.user_id = t2.user_id
where t1.date_id='2021-06-08' and t2.date_id='2021-06-08'
    and t1.user_id='12313' and t2.user_id='12313'
group by t1.user_id
distribute by rand()
limit 10000