hive使用技巧（二）——共享中间结果集

最新推荐文章于 2022-09-05 10:46:46 发布
最新推荐文章于 2022-09-05 10:46:46 发布
阅读量6.6k 收藏 6
点赞数 3
分类专栏： Hive 文章标签： mapreduce hive IO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49927311
版权
本文是hive使用技巧系列的第二篇，主要介绍如何通过共享中间结果集来优化Hive作业，降低IO，减少MapReduce阶段的磁盘和网络IO压力。通过实例展示了优化前后的SQL对比，讲解了如何抽取公共数据来实现这一优化。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
kwu_ganymede
关注
专栏目录
hive使用技巧（三）——巧用group by实现去重统计
Ganymede的Hadoop世界
12-22 3万+
网站统计中常用的指标，pv ,uv , 独立IP,登录用户等，都涉及去重操作。全年的统计，PV超过100亿以上。即使是简单的去重统计也非常困
hive使用技巧（五）—— 一行转多行,多行转一行
Ganymede的Hadoop世界
12-02 2万+
hive使用技巧（五）—— 一行转多行,多行转一行
hive共享中间结果集
09-27 783
场景：如果有多个作业同时用到了相同的中间结果集 重量级优化：作业的“亲缘”关系（也就是有相同依赖的表，就是from后面相同的）， 目的是：多作业共用输入或输出，输入就是用中间结果集作为下一阶段的输入，输出和输入是同一个概念，就是说你输出了，又作为下一个中间结果集的输入 比如说，每天几千个作业访问大表日志表trackinfo； 访问多个表的相同统计存在于很多作业里面，就是统计的那些表，统计的
hive中间结果和结果的压缩
Cody的笔记本
05-16 3646
hadoop中常见的压缩格式及特性如下： 压缩格式 工具 算法 文件扩展名 多文件 可分割性 DEFLATE* 无 DEFLATE .deflate 不 不 Gzip gzip DEFLATE .gz 不 不 ZIP zip DEFLATE .zip 是 是，在文件范围内 bzip2 bzip2
Hive 优化之 共享中间结果集
weixin_36630761的博客
11-01 641
转：http://blog.csdn.net/kwu_ganymede/article/details/49927311 1、优化前的SQL [sql] view plain copy SELECT      COUNT(*) pv  FROM      (          SELECT              cookieid,          
hive 压缩 最终结果 中间结果
空中的鱼
09-28 3164
1.hive压缩 hive>set mapred.output.compress=true;                                                  hive> set mapred.compress.map.output=true;                        hive> set hive.exec.compress.output
恰当地利用中间结果集
weixin_34204057的博客
11-18 116
有这样一道题：查出每个项目下均价（楼栋下各房间价格TOTAL/房间数）最高的楼栋，如果并列最高则都要显示。 --显示楼栋GUID，楼栋名称，均价，项目名称。结果按均价升序排序。 /*用with取别名,t1表是每个项目下均价最高的楼栋的项目ProjGUID、楼栋BldGUID和楼栋均价的中间结果集*/ With t1 As ( Select b.ProjGUID,a....
Hive 子查询结果复用 with as 创建临时中间表
11-29 783
查询到的用法如下 with tmp0 as ( select a, b, c from test0 ), tmp1 as( select a, b, c from test1 ) select db0.a, db1.a, db2.a from tmp0 db0 left join tmp0 db1 on db0.b = db1.b left jo...
hive使用技巧（四）——巧用MapJoin解决数据倾斜问题
热门推荐
Ganymede的Hadoop世界
05-10 4万+
hive使用技巧（四）——巧用MapJoin解决数据倾斜问题
hive使用技巧（一）自动化动态分配表分区及修改hive表字段名称
Ganymede的Hadoop世界
10-13 7233
Author：kwu hive使用技巧（一）自动化动态分配表分区及修改hive表字段名称
python查询hive结果集_Hive表在所有查询上返回空结果集
weixin_39840235的博客
12-19 288
我创建了一个Hive表,该表从文本文件加载数据.但是它对所有查询返回的空结果集.我尝试了以下命令：CREATE TABLE table2(id1 INT,id2 INT,id3 INT,id4 STRING,id5 INT,id6 STRING,id7 STRING,id8 STRING,id9 STRING,id10 STRING,id11 STRING,id12 STRING,id13 STR...
记录一下Hive中间和最终结果压缩
小桥
04-26 1385
中间Lzo,最终Gzip   Java代码   set mapred.output.compress = true;   set mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec;   set mapred.output.compression.type = BLOC
hive中使用with as查询作为临时中间表
硅谷工具人
12-13 273
oracle、hive都存在with as的用法。用于将重复的查询结果复用。 今天做统计分析时用到，使用例子如下： 1. 直接查询 with tmp_a as ( select f1,f2,f3 from test1 ) select f1,f2,f3 from tmp_a; 2. 多表计算结果join with tmp_a as ( select f1,f2,f3 from test1 ...
Hive中将多个查询结果按行拼接成一张表
ght_online的博客
05-10 1万+
在hive中将多个查询结果拼接成一张表，存入到另一张表中 一、语句 insert into table xiaoyuan_24_traffic_result partition (day_id = '20160506')  select a.phone_id, a.traffic, b.traffic     from (select *             from x
几种保存Hive查询结果的方法
zhuce1986的专栏
09-29 3万+
很多时候，我们需要将Hive的查询结果
Hive--临时表的三种方式
Samooyou的博客
05-27 1万+
一、临时数据方案 1、with as 1.1 使用demo witht1as( select imei ,src_pkg ,src_type ,app_version_name frombi_quickgame.dw_qgcrpk_boot_di whereday='${etl_date}' groupby ...
Hive查询结果的几种保存方法
u013402321的博客
05-16 8741
1. 保存到本地调用hive的标准输出，将查询结果写到指定的文件中hive -e "select user, login_timestamp from user_login" > /tmp/out.txt 或者$ hive -f file.sql > /tmp/out.txt $ cat file.sql select user, login_timestamp from ...
hive 之with as 和create view 和create temporary table用法
cclovezbf的博客
09-05 6712
create view 其实和with tmp as 很相似，都是把复杂的可以重用的sql简化，我觉得唯一的区别就是 view是可以创建下次再使用的 但是with只是当前sql有效，甚至不是会话有效。可以看到 这个join with as 和 view 都是执行了两次，但是temporary table 只执行了一次join，所以如果以后尽量不要用with as 卵用没有。之前网上不知道看的那篇文章说with里面的内容可以复用，也就是只计算一次 下次就不计算了，直接拿上次的结果。突然觉得这个例子不好。
hive综合应用案例——用户学历查询
最新发布
06-28
用户学历查询案例中，我们可以使用Hive从数据仓库中读取关于用户的数据，然后通过分析和聚合这些数据，来确定用户的学历信息。在这个过程中，Hive提供了强大的SQL语句支持，以及丰富的函数库，可以满足各种复杂的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值