DQL,order by, sort by,distribute by,cluster by

已于 2022-04-09 14:45:03 修改
阅读量705 收藏 4
点赞数
分类专栏： hive基础 初学大数据 文章标签： hive
于 2022-04-07 10:09:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/124005710
版权

DQL

hive> create database test5;
OK
Time taken: 0.538 seconds
hive> use test5;
OK
Time taken: 0.013 seconds
hive> create table students(
    >     id bigint comment '学生id',
    >     name string comment '学生姓名',
    >     age int comment '学生年龄',
    >     gender string comment '学生性别',
    >     clazz string comment '学生班级'
    > ) comment '学生信息表' 
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
OK
Time taken: 0.184 seconds
hive> create table score(
    >     id bigint comment '学生id',
    >     score_id bigint  comment '科目id',
    >     score int comment '学生成绩'
    > ) comment '学生成绩表'  
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  
OK
Time taken: 0.034 seconds
hive> load data local inpath '/usr/local/soft/data/students.txt' into table students;
Loading data to table test5.students
Table test5.students stats: [numFiles=1, totalSize=41998]
OK
Time taken: 0.292 seconds
hive> load data local inpath '/usr/local/soft/data/score.txt' into table score;
Loading data to table test5.score
Table test5.score stats: [numFiles=1, totalSize=138538]
OK
Time taken: 0.151 seconds
hive> select * from students limit 5;
OK
1500100001	施笑槐	22	女	文科六班
1500100002	吕金鹏	24	男	文科六班
1500100003	单乐蕊	22	女	理科六班
1500100004	葛德曜	24	男	理科三班
1500100005	宣谷芹	22	女	理科五班
Time taken: 0.174 seconds, Fetched: 5 row(s)
hive> select * from score limit 5;
OK
1500100001	1000001	98
1500100001	1000002	5
1500100001	1000003	137
1500100001	1000004	29
1500100001	1000005	85
Time taken: 0.04 seconds, Fetched: 5 row(s)
hive> select * from students t1 left join score t2 on t1.id=t2.id limit 10;
Query ID = root_20220407093445_82efb254-59db-4eb2-836a-cc7700838185
Total jobs = 1
Execution log at: /tmp/root/root_20220407093445_82efb254-59db-4eb2-836a-cc7700838185.log
2022-04-07 09:34:47	Starting to launch local task to process map join;	maximum memory = 477626368
2022-04-07 09:34:47	Dump the side-table for tag: 1 with group count: 1000 into file: file:/usr/local/soft/hive-1.2.1/tmp/3d521a56-040b-4be5-a251-99b2b8d41ce1/hive_2022-04-07_09-34-45_016_9101206490953336285-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile01--.hashtable
2022-04-07 09:34:47	Uploaded 1 File to: file:/usr/local/soft/hive-1.2.1/tmp/3d521a56-040b-4be5-a251-99b2b8d41ce1/hive_2022-04-07_09-34-45_016_9101206490953336285-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile01--.hashtable (79072 bytes)
2022-04-07 09:34:47	End of local task; Time Taken: 0.545 sec.
Execution completed successfully
MapredLocal task succeeded
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1649211406017_0017, Tracking URL = http://master:8088/proxy/application_1649211406017_0017/
Kill Command = /usr/local/soft/hadoop-2.7.6/bin/hadoop job  -kill job_1649211406017_0017
Hadoop job information for Stage-3: number of mappers: 1; number of reducers: 0
2022-04-07 09:34:56,900 Stage-3 map = 0%,  reduce = 0%
2022-04-07 09:35:03,084 Stage-3 map = 100%,  reduce = 0%, Cumulative CPU 1.08 sec
MapReduce Total cumulative CPU time: 1 seconds 80 msec
Ended Job = job_1649211406017_0017
MapReduce Jobs Launched: 
Stage-Stage-3: Map: 1   Cumulative CPU: 1.08 sec   HDFS Read: 11247 HDFS Write: 872 SUCCESS
Total MapReduce CPU Time Spent: 1 seconds 80 msec
OK
1500100001	施笑槐	22	女	文科六班	1500100001	1000001	98
1500100001	施笑槐	22	女	文科六班	1500100001	1000002	5
1500100001	施笑槐	22	女	文科六班	1500100001	1000003	137
1500100001	施笑槐	22	女	文科六班	1500100001	1000004	29
1500100001	施笑槐	22	女	文科六班	1500100001	1000005	85
1500100001	施笑槐	22	女	文科六班	1500100001	1000006	52
1500100002	吕金鹏	24	男	文科六班	1500100002	1000001	139
1500100002	吕金鹏	24	男	文科六班	1500100002	1000002	102
1500100002	吕金鹏	24	男	文科六班	1500100002	1000003	44
1500100002	吕金鹏	24	男	文科六班	1500100002	1000004	18
Time taken: 19.125 seconds, Fetched: 10 row(s)

order by：全局排序

 sort by：局部排序

distribute by：分区

  • cluster by

 // 等值比较 = == <=>
// 不等值比较 != <>
// 区间比较： select * from default.students where id between 1500100001 and 1500100010;
// 空值/非空值判断：is null、is not null、nvl()、isnull()
// like、rlike、regexp用法

hive> select * from students where age = 22 limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100003	单乐蕊	22	女	理科六班
1500100005	宣谷芹	22	女	理科五班
1500100008	符半双	22	女	理科六班
1500100021	连鸿晖	22	男	理科六班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100036	阮旭炎	22	男	文科二班
1500100037	顾向松	22	女	文科一班
1500100039	窦孤风	22	女	文科六班
Time taken: 0.074 seconds, Fetched: 10 row(s)
hive> select * from students where age == 22 limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100003	单乐蕊	22	女	理科六班
1500100005	宣谷芹	22	女	理科五班
1500100008	符半双	22	女	理科六班
1500100021	连鸿晖	22	男	理科六班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100036	阮旭炎	22	男	文科二班
1500100037	顾向松	22	女	文科一班
1500100039	窦孤风	22	女	文科六班
Time taken: 0.034 seconds, Fetched: 10 row(s)
hive> select * from students where age <=> 22 limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100003	单乐蕊	22	女	理科六班
1500100005	宣谷芹	22	女	理科五班
1500100008	符半双	22	女	理科六班
1500100021	连鸿晖	22	男	理科六班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100036	阮旭炎	22	男	文科二班
1500100037	顾向松	22	女	文科一班
1500100039	窦孤风	22	女	文科六班
Time taken: 0.039 seconds, Fetched: 10 row(s)

hive> select * from students where age between 21 and 23 limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100003	单乐蕊	22	女	理科六班
1500100005	宣谷芹	22	女	理科五班
1500100006	边昂雄	21	男	理科二班
1500100007	尚孤风	23	女	文科六班
1500100008	符半双	22	女	理科六班
1500100009	沈德昌	21	男	理科一班
1500100010	羿彦昌	23	男	理科六班
1500100011	宰运华	21	男	理科三班
1500100012	梁易槐	21	女	理科一班
Time taken: 0.038 seconds, Fetched: 10 row(s)
hive> select if(1 is null,null,'ok');
OK
ok
Time taken: 0.457 seconds, Fetched: 1 row(s)
hive> select nvl(null,'n');
OK
n
Time taken: 0.429 seconds, Fetched: 1 row(s)
hive> select isnull(123);
OK
false
Time taken: 0.031 seconds, Fetched: 1 row(s)

hive> select * from students where clazz like '文科%' limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100002	吕金鹏	24	男	文科六班
1500100007	尚孤风	23	女	文科六班
1500100013	逯君昊	24	男	文科二班
1500100016	潘访烟	23	女	文科一班
1500100018	骆怜雪	21	女	文科六班
1500100022	薄运珧	23	男	文科四班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100027	路辰锟	21	男	文科四班
Time taken: 0.033 seconds, Fetched: 10 row(s)
hive> select * from students where clazz rlike '文科.*' limit 10;
OK
1500100001	施笑槐	22	女	文科六班
1500100002	吕金鹏	24	男	文科六班
1500100007	尚孤风	23	女	文科六班
1500100013	逯君昊	24	男	文科二班
1500100016	潘访烟	23	女	文科一班
1500100018	骆怜雪	21	女	文科六班
1500100022	薄运珧	23	男	文科四班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100027	路辰锟	21	男	文科四班
Time taken: 0.031 seconds, Fetched: 10 row(s)
hive> select * from students where clazz regexp '文科.*' limit 10; 
OK
1500100001	施笑槐	22	女	文科六班
1500100002	吕金鹏	24	男	文科六班
1500100007	尚孤风	23	女	文科六班
1500100013	逯君昊	24	男	文科二班
1500100016	潘访烟	23	女	文科一班
1500100018	骆怜雪	21	女	文科六班
1500100022	薄运珧	23	男	文科四班
1500100024	湛慕卉	22	女	文科二班
1500100025	翁飞昂	22	男	文科四班
1500100027	路辰锟	21	男	文科四班
Time taken: 0.026 seconds, Fetched: 10 row(s)

取整函数(四舍五入)：round
向上取整：ceil
向下取整：floor

hive> select round(1.234,2);
OK
1.23
Time taken: 0.444 seconds, Fetched: 1 row(s)
hive> select floor(3.45);
OK
3
Time taken: 0.437 seconds, Fetched: 1 row(s)
hive> select ceil(1.23);
OK
2
Time taken: 0.429 seconds, Fetched: 1 row(s)
hive> select ceil(1.0000);
OK
1
Time taken: 0.428 seconds, Fetched: 1 row(s)

小胖超凶哦！
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SQL（DQL）
01-27
1.字段(列)控制 1)查询所有列 SELECT*FROM表名; SELECT*FROMemp;-->其中“*”表示查询所有列2)查询指定列 SELECT列1[,列2,...列N]FROM表名;SELECTempno,ename,sal,commFROM
DQL DML细刻度审计.txt
11-01
oracle细粒度审计(FGA) 是oracle提供的对表细粒度的级别的审计功能，可以捕获DML、SELECT等客户端发起的操作。
深入解读SQL的聚集函数
华为云官方博客
05-23 2492
本文从基本聚集操作入手，介绍常用的SQL语法，以及一些扩展的聚集功能，同时会讲到在GaussDB(DWS)里聚集相关的一些优化思路。
distribute by hash
qq_41081716的博客
07-30 1757
哈希分布还具有另一个优势：当在查询中需要进行基于这三列的连接操作时，具有相同哈希值的数据很可能位于相同的分区中，这样可以避免在多个分区之间进行数据移动，从而加速查询操作。通过这种方式，数据被均匀地分布到不同的分区，从而实现负载均衡，使每个分区处理的数据量大致相同，避免出现数据倾斜，提高查询性能和系统吞吐量。使用 "distribute by hash" 和合适的哈希列来分布数据是一种常见的数据库优化手段，能够提高数据库的性能和可扩展性。中，指定了数据在表分区中的分布方式。哈希函数将这三列的值作为输入，并。
分布式一致性hash算法简介
远古大猛犸
06-14 1620
分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时，第一时间可能会问，什么是分布式，什么是一致性，hash又是什么。在分析分布式一致性hash算法原理之前，我们先来了解一下这几个概念。 分布式 分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。 现有系统system，有modelA、modelB、modelC等服务模块。现在要以集中式（集群，cluster）和分布式的方式进行部署，下面我们来看看它们部署的示意图。
用数据看hive的order distribute sort cluster by的区别
lihuazaizheli的博客
07-03 523
1.distribute by hash分发到不同分区 分区规则是根据分区字段的hash码与reduce的个数进行模除后，余数相同的分到一个区。 1.1实验 hive (default)> select * from empt; OK empt.empno empt.ename empt.job empt.mgr empt.hiredate empt.sal empt.comm empt.deptno 7566 JONES MANAGER 7863 1980-12-17 2975.0 0 20
Greenplum 分布键 distribute hash分布和随机分布
是个好男人的博客
04-18 4082
Greenplum是分布式系统，创建表时需要指定分布键，目的是为了数据能够平均分布到各个段，所以选择分布键十分重要，选择错了会导致数据不一致。 分布方式： Hash分布：按分布键对数据列进行hash取模存放到对应的segment。 随机分布：数据随机分布在数据库，每次查询都会查询所有的segment。 1.分布策略 （1）hash分布 Greenplum默认使用hash分布策略。该策略可选一个或者多个列作为分布键（distribution key，简称DK）。分布键做...
DQL数据查询语言.xmind
06-07
数据库SQL语句总结 DQL数据查询语言
Mysql 的DQL的学习以及掌握
01-27
学习mysql查询命令，可以帮助你快速掌握，里面的东西比较齐全，知识比较详细，可观性较强，希望里面的东西能够帮助到你
MySQL 库、表 操作
baidu_34170531的博客
05-12 968
2. 数据库 基本操作 一千行MySQL学习笔记 　　# 参数介绍 菜鸟教程 书籍：MySQL 必知必会 2.1. 数据库操作 /* 数据库操作 */ ------------------ -- 查看当前数据库 -- 3种方法； SELECT DATABASE(); --() 括号内空； show tables; status; -- 显示当前时间、用户名、数据库版本 SELECT now(), user(), version(); -- 创建库 C
distributed.sql
01-20
rbac权限模型的表结构，包括用户表，角色表  用户角色表，权限表，角色权限表。其中用户角色表和角色权限表是两张关联表。
Hive基础之：Order By、Sort By、distribute by 、cluster by的区别
weixin_43542605的博客
01-05 778
详解Order By、Sort By、distribute by 、cluster by的区别
SQL优化：使用distribute by 防止数据倾斜
热门推荐
光脚虾的博客
02-11 1万+
distribute by ：用来控制map输出结果的分发，即map端如何拆分数据给reduce端。 会根据distribute by 后边定义的列，根据reduce的个数进行数据分发，默认是采用hash算法。 当 distribute by 后边跟的列是：rand()时，即保证每个分区的数据量基本一致 ...
order by、distribute by、sort by、group by、partition by
哈
03-04 1万+
order by：全局排序 order by 会对数据进行一次全局排序，所以说，只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。 order by 只在一个reduce中进行，所以数据量特别大的时候效率非常低。建议在小的数据集中使用order by进行排序 可以通过设置hiv...
64- 大数据-hive 查询数据八：distribute by 分发
yaoyelinger0912的博客
07-15 1174
distribute by是控制在map端如何拆分数据给reduce端，hive会根据 distribute by 后面列，对应reduce的个数进行分发，默认采用hash算法。 sort by 是每个reduce产生的一个排序文件。在有些情况下，需要控制某个 特定行应该到哪个reducer，这通常是为了后续的聚合操作，distribute by 正好可以做这件事，所以通常和sort by 配合使...
Apache Doris数据分区Partition、数据分桶(distributed by)
Bulut0907
12-13 1万+
目录1. 数据分区和分桶的关系2. 数据分区2.1 range分区 1. 数据分区和分桶的关系 先分区，再分桶。一个表不指定分区，默认只有一个分区 一个Partition有多个数据分片Tablet。Tablet数据移动、复制操作的最小物理存储单元。Partition是数据的导入与删除的最小管理单位 分区支持Range和List分区；分桶只支持Hash分桶 2. 数据分区 分区列必须为key列 不论什么字段数据类型，建表时写分区值，都必须加引号 2.1 range分区 mysql> mysql
oracle分区表的创建
growing1224的博客
01-08 362
1.在已知数据表数据量比较大时，我们可以选择创建分区表增强搜索性能 在此创建以周为单位的分区表 create table APPS.MQ_RECEIVE_LOG ( id NUMBER not null, msg_id VARCHAR2(100), calsign VARCHAR2(20), msg_os ...
distribute by控制分区文件数
WangzhenBeyond的博客
11-21 1万+
distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法. 大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况. 背景: 1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql....
distribute by、 clustered by 、 order by 、 sort by 的区别
Brad_Q1的博客
07-15 614
distribute by, order by, sort by, cluster by 的区别
oracle dql
最新发布
12-07
如果要按特定条件对结果进行排序，可以使用ORDER BY子句。例如，以下查询将从名为“employees”的表中检索所有员工的姓名和工资，并按工资从高到低对结果进行排序： ```sql SELECT name, salary FROM employees ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值