hive的strict模式下where,group by,having,order by同时使用的执行顺序

最新推荐文章于 2022-02-11 16:29:33 发布
最新推荐文章于 2022-02-11 16:29:33 发布
阅读量1.5k 收藏 2
点赞数 1
分类专栏： Hive 文章标签： Hive 顺序 where group by having
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/i000zheng/article/details/80745907
版权

主要限制三种情况

(1) 有partition的表查询需要加上where子句，筛选部分数据实现分区裁剪，即不允许全表全分区扫描，防止数据过大

(2) order by 执行时只产生一个reduce，必须加上limit限制结果的条数，防止数据量过大造成1个reduce超负荷

(3) join时，如果只有一个reduce，则不支持笛卡尔积查询。也就是说必须要有on语句的关联条件，做自然连接。


group by和order by 同时使用，不会按组进行排序

where,group by,having,order by同时使用，执行顺序为

（1）where过滤数据
（2）对筛选结果集group by分组
（3）对每个分组进行select查询，提取对应的列，有几组就执行几次
（4）再进行having筛选每组数据
（5）最后整体进行order by排序
i000zheng
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
Hive对用户提供的同样是SQL，但底层实现却和传统数据库有天壤区别，底层实现默默情况下是利用了Hadoop的计算框架MapReduce，当然也支持使用Spark, Tez。鉴于此，Hive有一些自己特定，比如order by的实现需要把所有...
Java集合框架详解（新手必看）
最新发布
qq_74095822的博客
11-27 1404
Java集合框架是一组接口、实现类和算法，用于存和操作一组对象。它提供了一种方便的方式来处理集合数据，如列表、集合、队列，映射等，以及它们的实现。它是Java编程语言的核心部分之一，提供了高效的数据结构和算法，使开发人员可以更轻松地处理集合数据.Java集合框架包括以下几个主要组件: List、Set、Queue、Deque、Map和lterator。集合框架两大分支：Collection接口和Map接口集合框架结构图。
hive的strict模式;where,group by,having,order by同时使用的执行顺序
weixin_30700099的博客
11-02 310
主要限制三种情况 (1) 有partition的表查询需要加上where子句，筛选部分数据实现分区裁剪，即不允许全表全分区扫描，防止数据过大 (2) order by 执行时只产生一个reduce，必须加上limit限制结果的条数，防止数据量过大造成1个reduce超负荷 (3) join时，如果只有一个reduce，则不支持笛卡尔积查询。也就是说必须要有on语句的关联条件，做自然连...
hive中的排序和分组
yunqishequ1的博客
10-27 692
点击有惊喜 order by order by 会对输入坐全局排序,因此 只有一个reducer(多个reducer会无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间. set hive.mapred.mode =nonstrict;(default value/默认值) set hive.mapred.mode =s
HiveSql里group by和order by连用的注意事项
攻城狮Kevin
02-11 4178
hive的语句执行顺序是group by ... select ... order by order by是对前面查询到的结果进行排序，两者连用的语法顺序即 select ... group by ... order by 注意事项有两点： 1. order by的字段必须是在group by中，或者是聚合函数 1. select file1,file2 from tableName group by file1,file2 order by file1; 2. select file1, cou
group by，order by以及group by..order by的使用总结
wonengguwozai的博客
12-09 1667
前言 sql 语句的关键词执行顺序：（注意select 与order by的执行顺序） from>where>group by>having>select>order by group by的使用 分组方法：按指定的一列或多列值分组，值相等的为一组。 1.使用聚合函数count，sum，avg，max，min。未对查询结果分组，聚合函数将作用于整个查询结果。对查询结果分组后，集函数将分别作用于每个组。 有如下数据表： 例1.1 对整个的表进行count SELECT c
GROUP BY和HAVING用法介绍
热门推荐
Shiny0815的博客
09-09 10万+
一、group by 和 having 1、满足“SELECT子句中的列名必须为分组列或列函数”，因为SELECT有group by中包含的列 2、having必须和groupby一起用，且在groupby后面 3、groupby、having、order by的使用顺序：groupby 、having、order by SELECT *|字段列表 [as 别名] FROM 表名 [WHERE 子句] [GROUP BY 子句][HAVING 子句][ORDER BY 子句][LIMIT ...
02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4
04-29
02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4
使用Hive构建数据库
03-03
这也是在Hadoop上使用诸如Hive之类的工具构建数据库会成为一个功能强大的解决方案的原因。如果一家公司没有资源构建一个复杂的大数据分析平台，该怎么办？当业务智能(BI)、数据仓库和分析工具无法连接到ApacheHadoop...
windows下hive的可执行文件
10-04
免费的，我下载了其他人的也不能用，这个好像也不太行，需要的可以拿去试试
HiveDriver源码执行流程分析
01-30
接着上一篇来说执行入口的分析，CliDriver最终将用户指令command提交给了Driver的run方法（针对常用查询语句而言），在这里用户的command将会被编译，优化并生成MapReduce任务进行执行。所以Driver也是Hive的核心，...
HiveSQL语句中SELECT,FROM,WHERE,GROUP BY,LIMIT,ORDER BY的执行顺序
abc5254065的博客
01-22 1295
1.from 2.where 3.group by 4.order by 5.limit 6.select
Hive（四）：where和having
chandelierds的博客
08-15 3221
https://blog.csdn.net/high2011/article/details/82686858 https://blog.csdn.net/qq_33713328/article/details/88689180
07-Hive高级查询order by、group by
当法律与事业相遇
06-06 1万+
声明：未经本人允许，不得转载哦！哈喽，大家好。这两天就要高考了，我原本是一名物理老师，这一届初高中的学生带完，估计就要开始找大数据岗位的工作了。目前掌握的是技能有java+linux++mysql+hadoop+hive+hbase，正在学习的是shell,计划2016年接着要学习的是scala+spark。祝我好运吧。今天我们一起来学习的是【Hive高级查询group、order语法】。话不多说，
group by与where能否一起使用？
kirinmin的博客
11-01 9118
可以。注意：where肯定在group by 之前。 一，group by 字句也和where条件语句结合在一起使用。当结合在一起时，where在前，group by 在后。即先对select xx from xx的记录集合用where进行筛选，然后再使用group by 对筛选后的结果进行分组 使用having字句对分组后的结果进行筛选。 二，需要注意having和where的用法区别： having只能用在group by之后，对分组后的结果进行筛选(即使用having的前提条件是分组)。
hive无法执行带where语句的SQL
weixin_34357436的博客
11-13 1197
应用场景 当在伪分布式集群上，搭建部署了hive以后，发现hive无法执行带where语句的sql，那hive将无法使用，下面介绍解决该问题的方案！ 操作步骤 hive连接执行sql，可以执行带where语句的sql，但是采用beeline连接，无法执行带wh...
hive语句执行顺序
雾幻的博客
10-27 6005
SQL语句书写顺序： select … from… where…. group by… having… order by.. MySQL语句执行顺序： from… where… group by… having…. select … order by… hive语句执行顺序： from… where… select… group by… having … ord
group by 和count 同时使用的hive命令
05-20
在Hive中，可以使用以下命令同时使用group by和count： ``` SELECT column_name, COUNT(*) FROM table_name GROUP BY column_name; ``` 其中，column_name表示需要进行分组的列名，table_name表示需要进行查询的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值