hive一个数据源产生多个数据集（一个隐藏的调优方法）

最新推荐文章于 2022-12-27 16:39:46 发布
最新推荐文章于 2022-12-27 16:39:46 发布
阅读量283 收藏 1
点赞数
分类专栏： hive 文章标签： 大数据 hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40267121/article/details/119207934
版权
一个数据源产生多个数据集

语法：

from table
insert into table1 partition(dt)
select 
...
insert into table2 partition(dt)
select 
...;

案例：

hive> explain FROM dw_center.dwb_open_srcqid_os_ver_user
    > INSERT INTO TABLE dw_center.dwb_open_srcqid_os_user PARTITION(dt)
    > select
    >   apptypeid,
    >   uid,
    >   srcqid,
    >   os,
    >   isnewuser,
    >   pv,
    >   dt
    > where dt ='20210727' 
    > 
    > INSERT INTO TABLE dw_center.dwb_open_srcqid_ver_user PARTITION(dt)
    > select
    >   apptypeid,
    >   uid,
    >   srcqid,
    >   ver,
    >   isnewuser,
    >   pv,
    >   dt
    > where dt ='20210727';
OK
STAGE DEPENDENCIES:
  Stage-2 is a root stage
  Stage-8 depends on stages: Stage-2 , consists of Stage-5, Stage-4, Stage-6
  Stage-5
  Stage-0 depends on stages: Stage-5, Stage-4, Stage-7
  Stage-3 depends on stages: Stage-0
  Stage-4
  Stage-6
  Stage-7 depends on stages: Stage-6
  Stage-14 depends on stages: Stage-2 , consists of Stage-11, Stage-10, Stage-12
  Stage-11
  Stage-1 depends on stages: Stage-11, Stage-10, Stage-13
  Stage-9 depends on stages: Stage-1
  Stage-10
  Stage-12
  Stage-13 depends on stages: Stage-12

STAGE PLANS:
  Stage: Stage-2
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: dwb_open_srcqid_os_ver_user
            Statistics: Num rows: 177821 Data size: 91044719 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: apptypeid (type: string), uid (type: string), srcqid (type: string), os (type: string), isnewuser (type: int), pv (type: bigint), '20210727' (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6
              Statistics: Num rows: 177821 Data size: 91044719 Basic stats: COMPLETE Column stats: NONE
              File Output Operator
                compressed: false
                Statistics: Num rows: 177821 Data size: 91044719 Basic stats: COMPLETE Column stats: NONE
                table:
                    input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
                    output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
                    serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
                    name: dw_center.dwb_open_srcqid_os_user
            Select Operator
              expressions: apptypeid (type: string), uid (type: string), srcqid (type: string), ver (type: string), isnewuser (type: int), pv (type: bigint), '20210727' (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6
              Statistics: Num rows: 177821 Data size: 91044719 Basic stats: COMPLETE Column stats: NONE
              File Output Operator
                compressed: false
                Statistics: Num rows: 177821 Data size: 91044719 Basic stats: COMPLETE Column stats: NONE
                table:
                    input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
                    output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
                    serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
                    name: dw_center.dwb_open_srcqid_ver_user

  Stage: Stage-8
    Conditional Operator

  Stage: Stage-5
    Move Operator
      files:
          hdfs directory: true
          destination: hdfs://HDFS/usr/hive/warehouse/dw_center.db/dwb_open_srcqid_os_user/.hive-staging_hive_2021-07-29_11-54-31_612_1147423460507385636-1/-ext-10000

  Stage: Stage-0
    Move Operator
      tables:
          partition:
            dt 
          replace: false
          table:
              input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
              output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
              serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
              name: dw_center.dwb_open_srcqid_os_user

  Stage: Stage-3
    Stats-Aggr Operator

  Stage: Stage-4
    Merge File Operator
      Map Operator Tree:
          ORC File Merge Operator
      merge level: stripe
      input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

  Stage: Stage-6
    Merge File Operator
      Map Operator Tree:
          ORC File Merge Operator
      merge level: stripe
      input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

  Stage: Stage-7
    Move Operator
      files:
          hdfs directory: true
          destination: hdfs://HDFS/usr/hive/warehouse/dw_center.db/dwb_open_srcqid_os_user/.hive-staging_hive_2021-07-29_11-54-31_612_1147423460507385636-1/-ext-10000

  Stage: Stage-14
    Conditional Operator

  Stage: Stage-11
    Move Operator
      files:
          hdfs directory: true
          destination: hdfs://HDFS/usr/hive/warehouse/dw_center.db/dwb_open_srcqid_ver_user/.hive-staging_hive_2021-07-29_11-54-31_612_1147423460507385636-1/-ext-10002

  Stage: Stage-1
    Move Operator
      tables:
          partition:
            dt 
          replace: false
          table:
              input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
              output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
              serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
              name: dw_center.dwb_open_srcqid_ver_user

  Stage: Stage-9
    Stats-Aggr Operator

  Stage: Stage-10
    Merge File Operator
      Map Operator Tree:
          ORC File Merge Operator
      merge level: stripe
      input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

  Stage: Stage-12
    Merge File Operator
      Map Operator Tree:
          ORC File Merge Operator
      merge level: stripe
      input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

  Stage: Stage-13
    Move Operator
      files:
          hdfs directory: true
          destination: hdfs://HDFS/usr/hive/warehouse/dw_center.db/dwb_open_srcqid_ver_user/.hive-staging_hive_2021-07-29_11-54-31_612_1147423460507385636-1/-ext-10002

Time taken: 0.177 seconds, Fetched: 137 row(s)

执行计划分析：

  TableScan
    alias: dwb_open_srcqid_os_ver_user

扫描dwb_open_srcqid_os_ver_user只做了一次

总结： 对于同一个数据源只用扫描一次，大大提高效率

不想起的昵称
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【hive使用教程】3.2玩转Hive多维数据统计-grouping sets
stonehigher125的专栏
09-02 3328
背景 一般的分组统计使用group by 完成，但是部分业务场景下，需要不同维度的数据存在在一张表中，即多维统计报表，如果使用group by进行计算，需要使用大量的union all完成，代码冗余比较多，Hive提供一种方便的方法，用来一次性完成这种统计 1、GROUPING SETS grouping sets允许针对同一个数据集进行不同维度的统计，其原理类似于将不同的group by的...
Hive函数与调优
takeuherat的博客
11-30 275
文章目录Hive函数与调优函数系统内置函数自定义函数1.UDF函数2.UDTF函数调优开启map阶段输出压缩开启reducer阶段的数据压缩文件存储格式测试存储和压缩企业级调优Fetch抓取本地模式表的优化1.小表、大表join2.大表join大表3.MapJoin（小表join大表）4.Group By5.Count(Distinct)去重统计6.笛卡尔积7.行列过滤8.动态分区调整合理设置Ma...
【hive】grouping sets函数 多维度数据生成
最新发布
qq_35218261的博客
12-27 617
grouping sets
关于报表中同一个数据源下添加多个数据集得问题解决
david_xgl的专栏
01-20 1334
最近做项目，用到了报表，我用的微软自带的报表，下面就将我使用的详细过程讲解如下，因为报表比较复杂，牵涉到多数据源，多数据集绑定，参数传递等问题，目前网络上没有找到相关资料。
Hive结果导出
wanghuan524的博客
12-14 287
Hive导出结果1. 导出到本地文件2. bin/hive -e管道输出3. 导出结果到hdfs 1. 导出到本地文件 insert overwrite local directory '/opt/data/hive_exp' select count(*) from hive_test.u_data ; 指定列分隔符 , 行分隔符 insert overwrite local directory...
Hive多维度分析MOLAP
流风雨情的博客
06-02 1441
SELECT t.type, t.status, count(1), grouping__id FROM ods_callcenter.sdm_call t WHERE dt = '20200601' GROUP BY t.type, t.status WITH CUBE --WITH ROLLUP --GROUPING SETS(t.status,t.type,(t.status,t.type))
Hive SQL调优方法总结
给我一点温度
09-20 614
使用分区剪裁、列剪裁 在 select 中，尽量只拿需要的列，尽量使用分区过滤，少使用 select * 另外在分区裁剪中，当使用外关联时，副表的过滤条件如果使用 where 就会导致先全表关联在过滤，应该改用 on，或者之间使用子查询 少用 count（distinct） count（distinct）是由一个 reduce task 来完成的，这一个 reduce 需要处理的数据量太大，...
hive调优的方法（总结实战篇）
Chelseady的博客
03-08 1616
说明：本文参考尚硅谷hive教材 1.Fetch 抓取 Fetch 抓取是指， Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下， Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch...
Hive架构与调优
qq_42378130的博客
12-25 840
Hive架构与调优什么是HiveHive的优缺点优点缺点Hive架构原理Hive和数据库比较查询语言数据存储位置数据更新执行执行延迟可扩展性数据规模调优Fetch抓取本地模式表的优化小表、大表Join大表Join大表MapJoin（小表join大表）Group ByCount(Distinct) 去重统计笛卡尔积行列过滤动态分区调整分桶分区合理设置Map及Reduce数复杂文件增加Map数小文件进行合并合理设置Reduce数并行执行严格模式JVM重用推测执行压缩执行计划（Explain） 什么是Hive H
Hive高级用法01-hive调优
小梁
07-24 1816
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
数仓面试高频考点--解决hive小文件过多问题
CREATE_17的博客
04-04 306
点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料！小文件产生原因 hive 中的小文件肯定是向 hive 表中导入数据时产生，所以先看下向 hi...
hive中的绣花模型_hive中造数据步骤
weixin_33048525的博客
12-23 227
一、单条插入数据insert into table_nameselect '01','测试','2019-12-16'二、批量造数据1、将要造数据的表复制相同的表，格式为text格式：create table table_name_test as select * fromtable_namewhere 1=0;2、准备数据，csv文件(注意文件格式为UTF-8格式不然中文会乱码)查看确保是U...
hive入门学习：explain执行计划的理解
热门推荐
HAHA的专栏
02-19 3万+
hive入门学习：explain执行计划的理解                    我们都知道，hive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行，但是具体的MR执行信息我们怎样才能看出来呢？这里就用到了explain的关键字，他可详细的表示出在执行所对应的语句所对应的MR代码。语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。 EX
hive join对应的mapreduce代码
zztSky
03-25 338
只有理解了join 底层的mr代码如何实现，那你才能写出更好的sql，以及更好的优化。 加入有一下sql select * from tableA a inner join tableB b on a.model_id= b.model_id 要想深刻的理解这个sql你就得知道他的底层mr到底发生了什么，I will show you 首先我们来了解一下他的explain STAGE DE...
如何往Hive里面造测试数据？
用贪心算法解背包问题时对单位重量物品价值排序Java实现
03-20 2294
在做*****这个项目的大半年时间了，由于我写的spark程序需要到Hive表读数据，而开发环境的Hive表里面没有数据，需要自己造， 所以开发和测试环境用到的Hive的测试数据基本上都是我造的。下面是我总结的一些经验 刚开始的时候Hive里面有13张标签表，总共1700多个字段，在开发测试环境不需要用完所有的13张表，没必要，我只往三张表里造数据，平时测试的时候也只 测这三张表，太多了容易乱，但...
Hive调优总结
不清不慎的博客
05-05 1万+
熟悉Hive的开发者都知道，Hive会将操作语句转换为MapReduce作业，对于开发者是透明的，我们并不需要理解其原理就可以专注手头的工作，但是在实际开发当中数据量巨大，我们需要采取一些优化措施来提高MR作业的效率。 1.执行计划 与关系型数据库一样，我们可以使用EXPLAIN命令来分析HQL语句的执行流程，这也是分析一条SQL语句的瓶颈与性能不可缺少的一个步骤。 对于Hive的有些HQL语...
Hive 底层执行流程
weixin_33935777的博客
05-24 943
Hive并不是简简单单写SQL，因为我们要进行层层调优，如果连Hive的内部运行机制都搞不清，那么hive对我们来说仅仅是一个黑箱，高效率的调优无从谈起，所以我们很有必要了解下Hive是如何将SQL转化为MapReduce任务的呢？ Hive 底层执行流程 我们以下面这个SQL为例 FROM src INSERT OVERWRITE TABLE dest_g1 SELECT src.key, su...
hive执行计划
weixin_39259631的博客
06-07 508
Hql：insert overwrite TABLE lpx SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) ;OKABSTRACT SYNTAX TREE:  (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME pokes)...
hive生成多行数据(根据指定的区间)
硅谷工具人
03-09 1035
按顺序生成 50 - 60 之间的数字作为多行的记录集，结果如下： 第一步： 用最大值减去最小值，然后使用以下语句生成10个空的集合数组， select 50 as minNum,split(space(60-50),'') as x; 显示如下： 第二步：将x进行展开，使用posexplode可以获得索引idx字段，通过将索引值+初始值50，就可以实现增长的序列了。 select ...
Hive优化： FETCH任务转换与MySQL调优实战
当查询请求满足特定条件时，Hive可以直接从存储在HDFS上的数据源读取数据，而无需触发整个MapReduce作业。这在查询所有列（如`SELECT * FROM employees`）、简单的过滤（`SELECT name FROM emp WHERE condition`）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值