Hive的查询基本操作

已于 2022-11-19 16:20:35 修改
阅读量5.1k 收藏 31
点赞数 5
分类专栏： 大数据 文章标签： hive 大数据 hadoop
于 2022-11-17 17:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72168501/article/details/127905391
版权

文章目录

hive 查询语句

一、select 句式

查询员工表employess_table 包含了几个部门

输入命令: select * from employess_table 查看员工表的所有信息
在这里插入图片描述
输入命令: select distinct staff_dept from employess 对员工信息表的部门字段进行查询，distinct 去重 查看出来了员工信息表有五个部门
在这里插入图片描述

二、Having子句

HAVING子句的用法与WHERE子句的用法一致，都是在查询语句中指定查询条件，不同的是HAVING子句中可以使用聚合函数，并且HAVING子句必须配合GROUP BY子句一同使用，而WHERE子句中不能使用聚合函数，例如查询每个部门平均薪资大于5000的部门，具体命令如下
输入命令

查询员工信息表有平均薪资大于5000的部门

输入命令: select staff_dept from emplyess_table group by staff_table having AVG(staff_salary) > 5000 注意having 一定要 配聚合函数 group by 而where 不可以用聚合函数 gropy by 聚合的那个字段在前面的字段里面去找，要是只有一个那肯定就是
在这里插入图片描述

三、关系运算符

关系运算符通常在SELECT句式的WHERE子句中使用，用来比较两个操作数，下面通过一张表来介绍Hive内置的常用关系运算符。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1、查询员工信息表中年龄信息为36岁的员工信息

输入命令: select * from employess_table where staff_table = 36 查询出年龄为36岁的员工信息，有两条
在这里插入图片描述

2、查询员工信息表中部门Personnel Department的所有员工信息

输入命令: select * from employess_table where staff_dept like “P%” %是通配符代表所有的，注意使用了模糊查询 like 就不能有=了，相当于是替代了
在这里插入图片描述

3、查询员工姓名首字母

输入命令: select * from employess_table where staff_name like “D% || A%”
在这里插入图片描述

对这个表的所有员工姓名字段进行查询，发现根本没有A开头的名字，所以上面D||A会查询为空
在这里插入图片描述

四、算数运算符

算数运算符是用来计算两个数值的操作，下面通过一张表来介绍Hive内置的常用算数运算符
在这里插入图片描述

计算员工信息表employess_table中所有员工的实际工资

输入命令: select staff_name,staff_salary from employess_table 把员工的信息还有工资查询出来
在这里插入图片描述

计算员工信息表每位员工每天的薪资，以单月工作日为20天计算

输入命令：select staff_name,staff_salary / 20 from employess_table 在前面工资字段直接除以20，直接就查询出来了每一天的工资，不用在后面用where
在这里插入图片描述

五、逻辑运算符

逻辑运算符可以将两个或者多个关系表达式合并为一个表达式或者反转表达式的逻辑。下面通过一张表来介绍Hive内置的常用逻辑运算符: and &&是与的意思，or || 是或的意思， ！ not 是非的意思
在这里插入图片描述

查询员工信息表employess_table中薪资大于等于5000，并且薪资小于等于8000的员工信息

输入命令: select * from employess_table where staff_salary>=5000 and staff_salary <= 8000 查询出有六条信息
在这里插入图片描述

六、复杂运算符

复杂运算符用于操作Hive集合数据类型的列，集合数据类型包括array(数据)，map,或struct 下面通过一张表来介绍Hive内置的复杂运算符
在这里插入图片描述

1、查询学生考级成绩表student_exam_table中所有学生的第一个意向大学

先输入命令: select * from student_exam_table 查看表里的志愿一共有多少个
可以看到intent_university 字段是用字典装的，一个学生有三个志愿
在这里插入图片描述

输入命令: select student_name,intent_university[0] from student_exam_table
取出intent_university 字段字典中的第一个元素，就是学生的第一个志愿 用到了复杂运算符中的复杂数据类型 array
在这里插入图片描述

2、查询学生考试成绩表student_exam_table中学生的物理或历史成绩

输入命令:select student_name,humanities_or_sciences[‘History’],humanities_or_sciences[‘Physics’] from student_exam_table 这样就查询出了 物理和历史科目的成绩 用到了复杂运算符中的map M[key],返回括号里的key指定的value值
在这里插入图片描述

3、查询学生考试成绩表student_exam_table中所有学生的数学成绩

数学成绩是在comprehensive 这个字段里
在这里插入图片描述
输入命令：select student_name,comprehensive.maths maths from student_exam_table comprehensive.maths 将这个字段下的maths取出,进行查询就查出来了所有的数学成绩
在这里插入图片描述

七、分组操作

分组操作是按照数据表某一列或多列的值进行分组，将相同的值放在一组，执行操作时触发MapReduce 任务进行处理，分组是通过select语句中的子句group by实现

分组查询员工信息表employess_table的部门

输入命令: select staff_dept from group by staff_dept 注意前面查询的字段一定要有后面分组的字段，不能直接*，后面没有条件判断的话也最好不要用where
在这里插入图片描述

八、排序操作

1，order by(全局排序)

order by 用来对查询结果进行全局排序,查询的结果集只会交由一个Reducer处理，如果查询的结果集数据量较大，建议order by 和 limlt子句一同使用，目的是为了控制全局排序的显示条数。

2，sort by(局部排序)

sort by 用来对查询结果做局部排序，根据Mapreduce默认划分Reducer个数的规则，将查询结果集交由多个Reduce处理，sort by 会对每个Reducer进行排序，每个Reducer中的数据都是有序的。

3，查询商品销售表sales_table中销售额排名前十的省份以及城市

输入命令: select * from sales_table order by sales_amout desc limit 10 对销售表中的sales_amout字段进行全局排序，使用desc 进行倒序，使用limit方法只取前十条信息，注意后面要是没有条件的话就不要使用where，不然会报错。
在这里插入图片描述

4，对商品销售表中不同省份内每个城市的销售额进行排序

1、使用order by 全局排序,对province省份和sales_amount销售额进行降序,注意要同时对两个字段进行排序。
输入命令: select * from sales_table order by province desc,sales_amount desc; 这个和下面的局部排序的效果是一样的。在这里插入图片描述
2、使用sort by 局部排序,对province省份和sales_amount销售额进行降序,注意要同时对两个字段进行排序。
输入命令: select * from sales_table sort by province desc,sales_amount desc;
在这里插入图片描述

5、升序(ASC) 降序(DESC) 和 Cluster By

1、升序(ASC) 降序（DESC）
升序排列与降序排列的区别在于数据的排列方式不同，它们在数值类型数据，字符串数据类型和时间数据类型上的排列方式都有所不同。

  • 数值类型：升序排列是把数据按照从小到大的顺序进行排列，降序排序则相反
  • 字符串类型：升序排列是按照字符串首字母，从A到Z的顺序进行排列，降序排列则相反
  • 日期类型：例如1月3日和1月6日，升序排列会把 1 月 3 日放在首位，降序拍了则相反

2、Cluster by
Cluster by可以看作是disribute by 和 sort by 的合集，若distribute by 和 sort by 指定的列名一致，则可以使cluster by 代替，不过cluster by默认只允许升序排列，不支持降序

九、union 语句

union语句 用于将多个select句式的结果合并为一个结果集，合并数据

将学生信息表中301的班级学生和教室信息表中301的班级老师合并在一起

输入命令：select class,student_name class301 from students_table where class = “301” union select class,teacher_name class301 from teacher_table where class = “301”
先把学生表中的数据 中的教室字段用where 查询出来301教室的信息，然后把教室的那个字段别名改为class301 然后教师表一样的操作，两个表的查询完成用 union 进行连接，就合并起来了
在这里插入图片描述

十、join 语句

join语句主要是基于两个或者多个表列之间的关系，将这些表进行连接

1、join语句的内连接，连接学生名单表和教师名单表

输入命令: select t1.class,t2.class,stdudent_name,teacher_name from students_table t1 inner join
teacher_table t2 on t1.class = t2.class
先进行查询学生表的class字段和教师表的class字段然后给两个表进行别名,学生表为t1，教师表为t2然后 使用 inner join 进行内连接 教师表 然后用 on 两个表相同的字段进行相等 t1.class=t2.class
注意使用join进行多表关联，一定要有相同的字段 内连接连接两个表都有的相同的字段，里面都有的数据，才会显示出来，比如学生表没有304这个教室，而教师表有那么连接两个表这个就不会显示，只会显示两个表都有的
在这里插入图片描述

2、join 语句的左外连接

使用join语句的左外连接，连接学生名单表和教师名单表
输入命令：select t1.class,t2.class,student_name,teacher_name from students_table left outer join teacher_table on t1.class = t2.class
使用左外连接大致和内连接相似，但是连接的语句 使用 left outer join 左外连接 使用左连接就是以左边的那个表为基准，比如class那个字段两个表都有，但是只有学生表有305，但是教师表没有305这个教室，那么只会显示学生表的，教师表的305教室为显示为空
在这里插入图片描述

3、join 语句的右外连接

输入命令：select t1.class,t2.class,student_name,teacher_name from students_table t1 right outer
join teacher_table t2 on t1.class = t2.class
使用右外连接大致和内连接相似，但是连接的语句 使用 right outer join 右外连接 使用右连接就是以右边的那个表为基准，比如class那个字段两个表都有，但是学生表没有304，但是教师表有305这个教室，那么只会显示教师表的，学生表的305教室会显示为空
在这里插入图片描述

4、join 语句的全外连接

使用join语句的全外连接，连接学生名单表和教室名单表
输入命令：select t1.class,t2.class,student_name,teacher_name from students_table t1 full outer join teacher_table t2 on t1.class = t2.class
使用全外连接，连接的关键字是 full outer join 全外连接 ,使用全外连接会把两个表的数据都查出来，然后哪个表没有那个数据就会显示为空
在这里插入图片描述

5、join语句的左半连接

使用join语句的左边连接，连接学生名单表和教室名单表
输入命令：select t1.class,student_name from students_table t1 left semi join teacher_table t2 on t1.class = t2.class
使用左边连接 要使用关键字 left semi join 左半连接 前面select 要查询的字段的时候只会有左边那个表的字段，不然会报错，查询也只会查出左边那个表有的信息
在这里插入图片描述

6、join 语句的笛卡尔积连接

使用join语句的笛卡尔积连接，连接学生名单表和教师名单表
输入命令：select t1.class,student_name from students_table t1 cross join teacher_table t2
使用笛卡尔积连接 使用关键字 cross join 笛卡尔积连接 只需要查询左表的字段然后 使用 cross join字段 连接右表就行了，连相同的字段相等都不用写 笛卡尔积连接会把两个表中相同字段的所有数据全部查询出来，而且两个表相同的数据他也会依次显示两遍出来
在这里插入图片描述

十一、抽样查询

对于非常大的数据集，有时候用户需要使用的是一个具有代表性的查询结果，而不是全部查询结果，此时可以用hive抽样查询实现这个需求。hive抽样查询分为随机抽样，分桶抽样和数据块抽样。

1、随机抽样 随机从学生名单表中抽取三名学生

输入命令：select student_name from students_table distribute by rand() sort by rand() limlt 3
随机抽样 先使用 distribute by 和 sort by 进行排序 然后使用 hive 中的 rand()随机函数 加上 limit 3
随机取出三条学生信息
在这里插入图片描述

2、分桶抽样

将学生名单表的数据按照班级分为三个桶，查询第一个桶中的数据
输入命令：select * from students_table tablesample(bucket 1 out of 3 on class)
分桶查询 tablesample 函数 backet 是要抽哪一个桶的数据 out of 3 是要 分成三个桶 on 是要分桶的字段 bucket 1 查询出第一个桶里面的数据
在这里插入图片描述

3、数据块抽样

数据库抽样可以根据比例，行数和数据大小抽取hive表中的数据，这里所指的比例和数据大小是跟据hive表的数据文件计算的。
抽取学生名单表 50% 的数据
输入命令: select * from students_table tablesample(50 percent)
数据块抽样使用hive的 tablesample 函数, 里面的参数 50 percent 抽取百分之50的数据
在这里插入图片描述

气质&末雨
关注
  • 5
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive基本操作
05-16
hive 基本操作的命令和hive 实用命令等，有利与学习hive和mysql
hive基本命令行操作
12-12
hive基本命令行操作
Hive 基本命令操作1
08-03
1.创建分区表语法 1.创建二级分区表 2.正常的加载数据 3.查询数据
大数据实验六实验报告：熟悉Hive的基本操作
06-20
“大数据技术原理与应用”课程实验报告 题目：实验六：熟悉Hive的基本操作 姓名：小猪猪 日期：2022/5/15 1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况： 1.创建一个内部表 stocks，字段分隔符为英文逗号，表结构如下所示： stocks 表结构：
13-Hive基本操作1
08-08
2. 以上简单创建了一个DB库，但是这条HQL可以更进一步的优化，我们可以加上if not exists 3. 查看数据仓库DB的信息及路径 4. 删除名为DB
otl_stream查询返回数据_Hive查询18种方式
weixin_39592315的博客
12-11 376
前言大家一定对Hive不陌生吧！Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能(HQL)。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。因此，hive十分适合对数据仓库进行统计分析。本期内容，我们就来探讨一下，关...
Hive 之查询
hj1993的博客
02-13 769
满外连接：将会返回所有表中符合WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话，那么就使用NULL值替代。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。左外连接：JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。，导出到本地只会有两个文件有数据，另一个为空，只用到了两个。语句，但是只支持等值连接，不支持非等值连接，即表与表之间。必须有一列值相等作为连接条件，n 张表连接，至少要有。连接 n个表，至少需要n-1个连接条件。
Hive ---- 查询
在人间负债^
05-23 955
本例中会首先启动一个MapReduce job对表e和表d进行连接操作，然后会再启动一个MapReduce job将第一个MapReduce job的输出和表l进行连接操作。union和union all都是上下拼接sql的结果，这点是和join有区别的，join是左右关联，union和union all是上下拼接。在很多情况下，并不需要全局排序，此时可以使用Sort by。对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。
Hive查询及 Hive排序
csdnwindnorth的博客
09-17 911
查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 全表和特定列查询： 全表查询 select * from emp; 选择特定列查询 select empno, ename from emp; 注意： （1）SQL 语言大小写不敏感。 （2）SQL 可以写在一行或者多行。 （3）关键字不能被缩写也不能...
Hive基本操作
橙汁糖的博客
02-10 5654
一、Hive创建数据库与数据表 1.1.数据库相关操作 1.1.1.创建数据库 语法： create database if not exists 数据库名; 示例： create database if not exists mytestdatabase; 1.1.2.创建数据库并指定HDFS存储路径 语法： create database if not exists 数据库名 location 'HDS存储路径'; 示例： create database if not
Hive【Hive（三）查询语句】
m0_64261982的博客
09-29 1889
Hive 查询语句、基本查询、分组、排序、join
Hive基本查询操作
最新发布
m0_52680439的博客
11-13 314
查询出工作职责涉及hive的并且工资大于8000的公司名称以及工作经验。
4.HiveSQL查询语句方法大全
m0_63953077的博客
05-03 1210
HiveSQL查询语句方法归纳与实战
Hive查询系列之初相识
weixin_49063354的博客
08-20 971
Hive查询系列之初相识 1 基本查询（select……from） 1.1 全表和特定列查询 0）数据准备 （0）原始数据 dept: 10 ACCOUNTING 1700 20 RESEARCH 1800 30 SALES 1900 40 OPERATIONS 1700 emp： 7369 SMITH CLERK 7902 1980-12-17 800.00 20 7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30 7521 WARD SALESM
Hive数据查询（基本查询、RLIKE正则匹配、union联合、Sampling采样、Virtual Columns 虚拟列）
2202_75347029的博客
09-07 589
使用这种语法抽样，条件不变的话，每一次抽样的结果都一致，无法做到随机，只是按照数据顺序从前向后取。row_ _offset_ _inside_ _block，显示数据所在的HDFS块的偏移量看，需要运行语句。num（K|M|G）表示抽取num大小的数据，单位可以是K、M、G表示KB、MB、GB。block_ _offset_ _inside_ _file，显示数据行所在文件的偏移量。input_ _file_ _name，显示数据行所在的具体文件。rand（）表示随机的依据基于整行（普通表使用）
Hive 表常用查询语句-总结
Growth Diary
03-21 8023
hive之前不常用，每次都是现用现查，现在总结记下笔记，边学边记>_<。 现在假设有数据库 db，数据表table1，table2， （1）查看表的创建信息： show create table db.table1; （2）查看表的分区信息： show partitions db.table1; （3）查看表的记录数： select count(*) from db.table1 ...
【Hive】Hive 查询
懂得一千零一种,赋予你失败的方法！
03-12 2545
文章目录一、环境准备二、Hive 查询1、普通查询2、别名查询3、限定查询4、多表联合查询5、多表插入6、多目录输出文件 环境准备 Hadoop 完全分布式（一主两从即可） MySQL环境、Hive环境 一、环境准备 将 buyer_log 、buyer_favorite 导入到 /data/hive-data 下： 创建卖家行为日志表，名为 buyer_log，包含ID(id)、用户ID(buyer_id)、时间(dt)、地点(ip)、操作类型(opt_type) 5 个字段，字符类型为..
hive查询
qq_53908723的博客
01-01 220
查询，排序语法
Hive的基本操作和查询语法
07-28
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL来操作和查询数据。Hive的基本操作包括创建表、加载数据、插入数据、更新数据和删除数据等。而Hive的查询语法主要由select、from、join、where、group by、having、order by、sort by、limit、union和union all等关键字组成。\[3\]其中，select用于选择要查询的列，from用于指定要查询的表，join用于连接多个表，where用于设置查询条件，group by用于分组聚合，having用于设置分组条件，order by用于排序，sort by用于局部排序，limit用于限制查询结果的数量，union和union all用于合并查询结果。\[3\]此外，Hive还有一种特殊的join操作，即半开连接(left semi join)，它是left join的一种优化形式，只能查询左表的信息，主要用于解决左表数据是否存在的问题。\[1\]在Hive中，还有一些优化技巧和配置参数可以用来提高查询性能，比如同比与环比练习、优化、配置参数和数据倾斜等方面的内容。\[2\] #### 引用[.reference_title] - *1* *3* [Hive基本查询语法](https://blog.csdn.net/u010711495/article/details/111773364)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [13-Hive的基本操作和查询语法以及案例](https://blog.csdn.net/weixin_50627985/article/details/125476193)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值