大数据hive篇--临时表

在路上的小y

已于 2023-04-25 09:51:16 修改

阅读量609

点赞数 1

分类专栏：大数据文章标签： hive 大数据

于 2022-09-16 16:48:00 首次发布

本文链接：https://blog.csdn.net/qq_43709558/article/details/126893678

版权

一、临时数据方案

1、with as

1.1 使用demo

with t1 as (
    select
        imei
        ,src_pkg
        ,src_type
        ,app_version_name
    from bi_quickgame.dw_qgcrpk_boot_di
    where day = '${etl_date}'
    group by
        imei, src_pkg, src_type, app_version_name
)

1.2 with as 执行分析

执行sql ：

EXPLAIN
with t as(
select regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") AS id --生成一个随机id
,'zengkun' as name
)
select * from t
union all
select * from t
;

执行结果：

产生2个id

总结：结果中可以看到，产生了两个不一样的id，说明reflect函数被执行了两次，即with as中的子查询被执行了两次。

查看执行路径：

Explain
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: _dummy_table
            Row Limit Per Split: 1
            Statistics: Num rows: