HIVE语句（上）

最新推荐文章于 2023-11-30 21:13:41 发布
最新推荐文章于 2023-11-30 21:13:41 发布
阅读量416 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangzhangni/article/details/101292666
版权

一、了解HIVE

1、是什么

  • 是一个可以将sql翻译为MR程序的工具
  • 支持用户将HDFS上的文件映射为表结构，用户可以输入SQL进行查询分析
  • 将用户定义的库、表结构等信息存储在hive的元数据库中

2、用途

构建大数据体系下的数据仓库

3、使用方式

1）方式一：交互式查询

将hive启动为一个服务： bin/hiveserver ，然后可以在任意一台机器上使用beeline客户端连接hive服务，进行交互式查询

2）方式二：将hive作为命令一次性运行

事先将sql语句写入一个文件比如 q.hql ，然后用hive命令执行：bin/hive -f q.hql

3）方式三：将方式二写入一个xxx.sh脚本中

二、HIVE语句

1、三种执行模式

[root@node01 ~]# hive -e "use default;create table test_1(id int,name string);"
OK
Time taken: 2.453 seconds
OK
Time taken: 1.37 seconds
[root@node01 ~]# hive -e "desc test_1;"
OK
id                  	int                 	                    
name                	string              	                    
Time taken: 2.939 seconds, Fetched: 2 row(s)

[root@node01 home]# vi a.hql 
	1,xiaoming,20
	2,xiaowang,22
[root@node01 home]# vi /home/userinfo.txt
	use default;
	create table test_2(id int,name string,age int)
	row format delimited
	fields terminated by ',';
	load data local inpath '/home/userinfo.txt' into table test_2;
	select count(*) from test_2;
[root@node01 home]# hive -f a.hql   #运行
[root@node01 home]# hive -e "select * from test_2;"
OK
1	xiaoming	20
2	xiaowang	22
NULL	NULL	NULL
Time taken: 3.608 seconds, Fetched: 3 row(s)

[root@node01 home]# cd /usr/local/src/hive-1.2.1/bin/
[root@node01 bin]# ./hiveserver2
#光标定位到下一行不动
[root@node02 bin]# ./beeline 
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://node01:10000
Connecting to jdbc:hive2://node01:10000
Enter username for jdbc:hive2://node01:10000: root
Enter password for jdbc:hive2://node01:10000: 
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node01:10000>                #连接到node01服务端
0: jdbc:hive2://node01:10000> 

#可以查询node01中的内容（以表格形式）
0: jdbc:hive2://node01:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
+----------------+--+
1 row selected (3.375 seconds)

0: jdbc:hive2://node01:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| test_1    |
| test_2    |
+-----------+--+
2 rows selected (0.198 seconds)

0: jdbc:hive2://node01:10000> select * from test_2;
+------------+--------------+-------------+--+
| test_2.id  | test_2.name  | test_2.age  |
+------------+--------------+-------------+--+
| 1          | xiaoming     | 20          |
| 2          | xiaowang     | 22          |
| NULL       | NULL         | NULL        |
+------------+--------------+-------------+--+
3 rows selected (1.925 seconds)

#node02中每进行一条，node01中都会打印一个OK（因为命令都发到node01上的服务端执行）
[root@node01 bin]# ./hiveserver2 
OK
OK
OK

2、建表

1）表定义信息会被记录到hive的元数据中(mysql的hive库)

在hdfs上的hive库目录中创建一个跟表名一致的文件夹
在这里插入图片描述
表中没有数据
在这里插入图片描述

#查询test_1中的字段信息
[root@node01 home]# hive -e "desc test_1;"
id                  	int                 	                    
name                	string              	                    
sge                 	int                 	                    
Time taken: 2.572 seconds, Fetched: 3 row(s)
#有字段id和name,age,我们创建一个文件，好后上传到hdfs对应的test_1表对应的目录下
[root@node01 home]# vi test_1.txt
	1,zhangsan,12
	2,lisi,32
[root@node01 home]# hadoop fs -put test_1.txt /user/hive/warehouse/test_1

表中有数据
在这里插入图片描述

改进

#以上结果
hive> select * from test_1;
OK
NULL	NULL	NULL
NULL	NULL	NULL
#建表时没有指定分隔符
#删除表
hive> drop table test_1;
#重新创建一个带有分隔符的表
hive> create table test_1(id string,name string,age int)
    > row format delimited
    > fields terminated by ',';
#重新上传文件
[root@node01 home]# hadoop fs -put test_1.txt /user/hive/warehouse/test_1
#查看结果
hive> select * from test_1;
OK
1	zhangsan	12
2	lisi	32

#再创建一个文件
[root@node01 home]# vi test_1.txt.1
	3,xiaoming,14
	4
	5,lili3
[root@node01 home]# hadoop fs -put test_1.txt.1 /user/hive/warehouse/test_1
#不填默认为null
hive> select * from test_1;
OK
1	zhangsan	12
2	lisi	32
3	xiaoming	14
4	NULL	NULL
5	lili3	NULL
	NULL	NULL

3、内部表和外部表

1）内部表

#创建表
hive> create table t_2(id int,name string,salary bigint,add string)
    > row format delimited
    > fields terminated by ','
    > location '/aa/bb';
    
[root@node01 home]# vi /home/salary.txt
1,apple,4,weifang
2,banana,2,hainan
3,orange,4,hunan
4,liulian,100,mangu

#运行
hive> load data local inpath '/home/salary.txt' into table t_2;
hive> select * from t_2;
OK
1	apple	4	weifang
2	banana	2	hainan
3	orange	4	hunan
4	liulian	100	mangu

在这里插入图片描述

#删除表
hive> drop table t_2;

hdfs中的文件也会被删除
在这里插入图片描述

2）外部表（external）

hive> create external table t_3(id int,name string,salary bigint,add string)
    > row format delimited
    > fields terminated by ','
    > location'/aa/bb';

[root@node01 home]# hadoop fs -put salary.txt /aa/bb/
[root@node01 home]# hadoop fs -cat /aa/bb/salary.txt
1,apple,4,weifang
2,banana,2,hainan
3,orange,4,hunan
4,liulian,100,mangu

hive> select * from t_3;
OK
1	apple	4	weifang
2	banana	2	hainan
3	orange	4	hunan
4	liulian	100	mangu

在这里插入图片描述

#删除表
hive> drop table t_3;

数据目录不会删除
在这里插入图片描述

3）小结

  • 说明： location '/aa/bb’是hdfs的目录
  • 区别： 内部表的目录由hive创建在默认的仓库目录下：/user/hive/warehouse/…（也可以指定）
    外部表的目录由用户建表时自己指定： location ‘/位置/’
    drop一个内部表时，表的元信息和表数据目录都会被删除；
    drop一个外部表时，只删除表的元信息，表的数据目录不会删除；
  • 意义： 通常，一个数据仓库系统，数据总有一个源头，而源头一般是别的应用系统产生的，其目录无定法，为了方便映射，就可以在hive中用外部表进行映射；并且，就算在hive中把这个表给drop掉，也不会删除数据目录，也就不会影响到别的应用系统。

4、 分区关键字 PARTITIONED BY

#创建
hive> create table test_44(ip string,url string,staylong int)
    > partitioned by(day string)
    > row format delimited
    > fields terminated by ',';
    
[root@node01 home]# vi pv.data.2019-05-10
	192.168.9.10,www.a.com,1000
	192.168.10.10,www.b.com,100
	192.168.11.10,www.c.com,900
	192.168.12.10,www.d.com,100
	192.168.13.10,www.e.com,2000
	
hive> load data local inpath '/home/pv.data.2019-05-10' into table test_44 partition(day='2019-05-10');

在这里插入图片描述

[root@node01 home]# vi pv.data.2019-05-11
	192.168.9.11,www.f.com,100
	192.168.10.12,www.g.com,10
	192.168.11.13,www.h.com,90
	192.168.12.14,www.i.com,10
	192.168.13.15,www.g.com,200
	
hive> load data local inpath '/home/pv.data.2019-05-11' into table test_44 partition(day='2019-05-11');

在这里插入图片描述

#查询
hive> select * from test_44;
OK
192.168.9.10	www.a.com	1000	2019-05-10
192.168.10.10	www.b.com	100	2019-05-10
192.168.11.10	www.c.com	900	2019-05-10
192.168.12.10	www.d.com	100	2019-05-10
192.168.13.10	www.e.com	2000	2019-05-10
192.168.9.11	www.f.com	100	2019-05-11
192.168.10.12	www.g.com	10	2019-05-11
192.168.11.13	www.h.com	90	2019-05-11
192.168.12.14	www.i.com	10	2019-05-11
192.168.13.15	www.g.com	200	2019-05-11
Time taken: 0.745 seconds, Fetched: 10 row(s)

#分区查询
hive> select * from test_44 where day
最低0.47元/天 解锁文章
wangzhangni
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hivesequencefile和 自定义hive
weixin_43612968的博客
02-02 236
sequence File 的文件存储格式 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思路就是将小文件进行合并成一个大文件，同时对这些小文件的位置信息构建索引。不过，这类解决方案还涉及到Hadoop的另一种文件格式——MapF...
HIVE Row_Sequence 实现列自增长
残缺的歌的专栏
06-23 3779
package org.rowsequence;      import org.apache.hadoop.hive.ql.exec.Description;   import org.apache.hadoop.hive.ql.exec.UDF;   import org.apache.hadoop.hive.ql.udf.UDFType;   import org.apache.h
hive文件格式及结构体系整理
sujins5288的博客
01-14 665
hive文件格式选择：     hive是hadoop上的数据仓库组件，便于查询和管理分布式存储上的数据。hive提供了一种称为HiveQL的语言，允许用户进行类似于sql的查询。hive里的数据集最终存储在HDFS的文件中，常用的数据格式有以下4种：                               TEXTFILE                               S...
Hive查询语句
zhongmingyu
04-10 839
反之返回false。B的表达式说明如下：‘x%’表示A必须以字母‘x’开头，‘%x’表示A必须以字母‘x’结尾，而‘%x%’表示A包含有字母‘x’,可以位于开头，结尾或者字符串中间。如果A的值大于等于B而且小于或等于C，则结果为true，反之为false。union和union all都是上下拼接sql的结果，这点是和join有区别的，join是左右关联，union和union all是上下拼接。如果A和B都为null或者都不为null，则返回true，如果只有一边为null，返回false。
hive 语句总结
05-26
自己平时用到的hive语句做进一步总结和汇总！ 方便我们开发人员开发查阅！
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
hive语句.xlsx
01-04
hive常用命令及用法
生成hive建表语句
08-24
"生成Hive建表语句"这个主题主要涉及到如何创建Hive表结构，以便存储和管理大数据。下面我们将深入探讨Hive建表的相关知识点。 首先，我们需要了解Hive的基本概念。Hive是由Facebook开源的一个数据仓库工具，它可以...
hive sql语句查询
11-25
Hive配置单元包含一个名为 default 默认的数据库. create database [if not exists] ；---创建数据库 show databases; --显示所有数据库 drop database if exists <database name> [restrict|cascade]; --...
HIVE常用语句
Iyfyl的博客
11-30 597
having 子查询(FIELD in|=|>= (select ONLY_ONE_FIELD_IN ...))where 子查询(FIELD in|=|>= (select ONLY_ONE_FIELD_IN ...))collect_set(F|func|case...when) --去重后的列表。order by expr(field|func|case...when)--全局排序：性能差。collect_list(F|func|case...when) --列表。
hive文件存储格式:SequenceFile系统总结
cihongmo6452的博客
10-24 1095
问题导读 1.什么是SequenceFile？ 2.如何 通过 源码实现SequenceFile压缩？ 3.SequenceFile格式压缩有什么优点和缺点？ 1.SequenceFile是什么 1.1 SequenceFile概述 1.1.sequenceFile文件是Hadoo...
hive常用语法
weixin_43824520的博客
09-06 452
hive基本操作 #查看数据库 show databases #查看表信息 show tables #查看分区 show partitions #查看函数 show functions #查看详细信息 (格式模糊) desc extended t_tablename; #查看详细信息 (格式清晰) desc formatted t_ta...
六十七、Hive——hive语句大全
tiantang2renjian的博客
11-11 1244
Hive——hive语句大全
hive sql基本语句
bald__man的博客
08-03 1074
hive sql基本语句。
hive的数据导入
csdnaaaaa1的博客
02-06 1825
insert导出，导出的目录不用自己提前创建，Hive会帮我们自动创建，但是由于是overwrite，所以导出路径一定要写具体，否则很可能会误删数据。insert不支持插入部分字段，并且后边跟select语句时，select之前不能加as，加了as会报错，一定要跟下面的as select区分开。并且因为export导出的数据里面包含了元数据，因此import要导入的表不可以存在，否则报错。（4）overwrite：表示覆盖表中已有数据，否则表示追加。根据查询结果创建表（查询的结果会添加到新创建的表中）。
Hive实现自增列的两种方法
u011250186的博客
09-18 1001
多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UDF）。 假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键。 用row_number()函数生成代理键 insert...
HIve常用的基本语句总结
u013982921的专栏
07-17 4318
1、HIve基本数据类型 Hive 数据类型 长度 例子 TINYINT 1byte 有符号整数 20 SMALINT 2byte 有符号整数 20 INT 4byte 有符号整数 20 BIGINT 8byte 有符号整数 20 BOOLEAN 布尔类型， true 或者 false TRUE F...
将hdfs文件导入hive表
luoshi0801的专栏
02-28 2260
  hive sql对hdfs的操作最终都会转化为mr任务，下面介绍如何将已经存在的hdfs文件“导入”hive表，很简单  条件及要求： 1）hdfs文件为经过lzo压缩的seqFile 2）seqFile数据样例     127.0.0.1      ae8186613401633040361974|1340163304040|0.1|hsf.qa.test|yuanfeng...
运行hive语句必须启动hive吗
最新发布
12-27
不一定需要启动Hive才能运行Hive语句。可以使用Beeline来连接到Hive服务器并执行Hive语句，而无需启动Hive服务。 以下是使用Beeline连接到Hive服务器并执行Hive语句的步骤： 1. 打开终端或命令提示符。 2. 导航到Hive的安装目录。 3. 运行以下命令以连接到Hive服务器： ```shell bin/beeline -u jdbc:hive2://<hive_server>:<port> -n <username> ``` 其中，`<hive_server>`是Hive服务器的主机名或IP地址，`<port>`是Hive服务器的端口号，`<username>`是您的用户名。 4. 输入密码以登录到Hive服务器。 5. 连接成功后，您可以在Beeline中执行Hive语句。 请注意，您需要确保Hive服务器正在运行，并且您具有正确的连接信息和权限才能成功连接和执行Hive语句。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值