Hive基本操作-库、表

于 2023-03-30 16:42:48 发布
阅读量467 收藏 3
点赞数
文章标签： hive 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hao1999_/article/details/129860959
版权

第三章 Hive基本操作-库、表

3.1 规则语法

大小写规则:

1. hive的数据库名、表名都不区分大小写
2. 建议关键字大写

命名规则：

1. 名字不能使用数字开头
2. 不能使用关键字
3. 尽量不使用特殊符号

3.2 库操作语法

3.2.1 创建数据库

创建数据库的本质就是在hive的参数${hive.metastore.warehouse.dir}对应的目录下，创建一个新的目录，此目录的名称为： 库名.db。

注意：在创建库或者表时除了创建目录外，还会在mysql中(元数据库)，添加元数据（描述信息）

hive> create database wxb;
hive> create database if not exists wxb;
hive> create database if not exists wxb comment 'this is a database of mashangxing';

进入MySQL mysql -r root -p

show databases;

use hive;

show tables;

select * from DBS -- 数据库

select * from TBLS -- 表名（元数据）

hive有一个默认的数据库default，如果不明确的说明要使用哪个库，则使用默认数据库。

3.2.2 查看所有数据库：实际就是从元数据库中获取对应的元数据

语法：show databases;

3.2.3 切换数据库

语法：use 数据库名;
use wxb;

3.2.4 查看数据库信息

语法1：desc database databaseName;
语法2：desc database extended databaseName;
语法3：describe database extended databaseName;

3.2.5 删除数据库

语法1：drop database databasename;         	  # 这个只能删除空库
语法2：drop database databasename cascade;    	# 如果不是空库，则可以加cascade强制删除

3.3 表操作语法

3.3.1 数据类型

Hive的数据类型分为基本数据类型和复杂数据类型,下面是基本数据类型(复杂类型到后期再讲)

其中加粗体是重点要掌握的类型

分类类型描述字面量示例
基本类型BOOLEANtrue/falseTRUE
TINYINT 对应Java bate1字节的有符号整数 -128~1271Y
SMALLINT 对应 Java short2个字节的有符号整数，-32768~327671S
INT 对应Java int4个字节的带符号整数1
BIGINT 对应 Java long8字节带符号整数1L
FLOAT4字节单精度浮点数1.0
DOUBLE8字节双精度浮点数1.0
DEICIMAL任意精度的带符号小数1.0
STRING字符串，可变长度“a”,’b’
VARCHAR变长字符串,要设置长度“a”,’b’
CHAR固定长度字符串“a”,’b’
BINARY字节数组无法表示
TIMESTAMP时间戳，纳秒精度122327493795
DATE日期‘2016-03-29’
复杂类型ARRAY有序的的同类型的集合array(1,2)
MAPkey-value,key必须为原始类型，value可以任意类型map(‘a’,1,’b’,2)
STRUCT字段集合,类型可以不同struct(‘1’,1,1.0)
UNION在有限取值范围内的一个值create_union(1,’a’,63)
3.3.2 创建表

创建表的本质其实就是在对应的数据库目录下面创建一个子目录，目录名为表名。数据文件就存在这个目录下。

语法1: 
	create table t_user(id int,name string);  

语法2：使用库.表的形式
	create table mydb.t_user(id int,name string);

语法3：指定分隔规则形式
create table if not exists t1(
uname string comment 'this is name',
chinese int,
math int,
english int
)
comment 'this is my table'
row format delimited   
fields terminated by '\t'  # 字段与字段之间按照什么去分割
lines terminated by '\n'   # 行和行之间按照什么去分割
stored as textfile;   # 指我们这个文件在hdfs上是以什么格式进行存储的

create table if not exists emp(
eno int,
ename string,
job string, 
mgr int,
hiredate int,
salary int,
comm int,
deptno int
)
row format delimited
fields terminated by ','
lines terminated by '\n'
stored as textfile;
3.3.3 查看当前表空间中的所有表名
语法：show tables; 
# 查看另外一个数据库中的表
show tables in zoo;
3.3.4 查看表结构
desc tableName
desc extended tableName;  # 查看表结构扩展信息
describe extended tableName;
3.3.5 修改表结构
- 修改表名
	alter table oldTableName rename to newTableName;
	alter table t1 rename to t1_1;
  
- 修改列名：change column	和修改字段类型是同一个语法
	alter table tableName change column oldName newName colType;
    alter table t1_1 change column math shuxue string;


- 修改列的位置:  注意，2.x版本后，必须是相同类型进行移动位置。
	alter table tableName change column colName colName colType after colName1;  
    alter table t1 change column english english int after chinese;
    
	alter table tableName change column colName colName colType first;
	# 将字段放在首位，前提是要移动的字段和第一个字段的数据类型要保持一致；
	alter table t2 change column math math int first;
	
	
# 注意：这个操作只能用于改变表结构，又不会影响我原本的数据的顺序
	例如 ：  姓名  语文  数学
			小明  98    89
	我在这里给数学放在语文前面，那么我的表结构就会变成如下：
			姓名  数学  语文  
			小明  98    89

- 增加字段：add columns
	alter table tableName add columns (sex int,...);
	alter table t1 add columns(sex string,id int);

- 删除字段：replace columns	#注意，2.x版本后，注意类型的问题，替换操作，其实涉及到位置的移动问题。
	alter table tableName replace columns(
    id int,
    name int,
    size int,
    pic string
    );
	注意：实际上是保留小括号内的字段。
	
	alter table t1 replace columns(
	sex string,
	id int
    );
3.3.6 删除表
drop table tableName;

3.4 数据导入

[root@hadoop02 ~]# mkdir /hivedata
[root@hadoop02 ~]# cd /hivedata
[root@hadoop02 hivedata]# vim user.txt
-- 加入下面的数据
1,廉德枫
2,刘浩
3,王鑫
4,司翔


create table t_user2(
id int,
name string
)
row format delimited
fields terminated by ','
lines terminated by '\n'
stored as textfile;

加载数据到Hive，一般分为两种:

- 一种是从本地Linux上加载到Hive中
- 另外一种是从HDFS加载到Hive中

**方法1：**使用hdfs dfs -put将本地文件上传到表目录下

[root@hadoop02 hivedata]# hdfs dfs -put ./user.txt /user/hive/warehouse/t_user/

**方法2：**在hive中使用load 命令

load data [local] inpath '文件路径' [overwrite] into table 表名
# local：写上表示从本地加载到hdfs（copy的操作），不写表示从hdfs加载数据（移动的操作）
# overwrite：写上表示覆盖，不写表示追加
加载数据时：
1. 最好是写绝对路径，从根开始写。
2. 写相对路径也是可以的，但是一定要记住你登录hive时的位置，从当前位置写相对路径
3. ~在hive中，是相对路径的写法
4. 使用benline工具进行远程登录（客户端与服务端不在同一台机器）时，使用以下语句时：
	load data local inpath '文件路径' [overwrite] into table 表名
	会有一个大坑：local是指服务端的文件系统。

**方法3：**从另外一张表(也可称之为备份表)中动态加载数据

insert into table tableName2 select [.....] from tableName1;


#######   注意：如果出现以下异常：
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20221106234007_95faacb8-188f-4886-9b7b-3700535dd853
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
解决方案：
在hive中执行
set hive.exec.mode.local.auto=true;(默认为false)
#######



扩展内容：向多张表中插入数据的语法
    from tableName1
    insert into tableName2 select * [where 条件]
    insert into tableName3 select * [where 条件]
    .....
    
    


create table u2(
id int,
name string
)
row format delimited
fields terminated by ',';

insert into table u2 select id,name from u1;


create table u3(
id int,
name string
)
row format delimited
fields terminated by ',';
create table u4(
id int,
name string
)
row format delimited
fields terminated by ',';


from u2
insert into u3 select *
insert into u4 select id,name;



create table u8(
id int,
name string
)
row format delimited
fields terminated by ',';

注意： tableName2表中的字段个数必须和tableName1表中查询出来的个数相同

**方法4：**克隆表数据

- create table if not exists tableName2 as select [....] from tableName1;
- create table if not exists tableName2 like tableName1 location 'tableName1的存储目录的路径'     # 新表不会产生自己的表目录，因为用的是别的表的路径

扩展内容：只复制表结构
create table if not exists tableName2 like tableName1;

加载数据的本质：

  1. 如果数据在本地，加载数据的本质就是将数据copy到hdfs上的表目录下。
  2. 如果数据在hdfs上，加载数据的本质是将数据移动到hdfs的表目录下。

注意:hive使用的是严格的读时模式：加载数据时不检查数据的完整性，读时发现数据不对则使用NULL来代替。
而mysql使用的是写时模式:在写入数据时就进行检查

3.5 案例演示

CREATE TABLE flow(
id             string COMMENT 'this is id column',
phonenumber     string,
mac             string,
ip               string,
url              string,
urltype          string,
uppacket		 int,
downpacket       int,
upflow            int,
downflow         int,
issuccess    int
)
COMMENT 'this is log table'
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
stored as textfile;

加载数据：
load data local inpath './data/HTTP_20130313143750.dat' into table flow;

1、统计每个电话号码的总流量(M)
select l.phonenumber,
round(sum(l.upflow + l.downflow) / 1024.0,2) as total
from flow l
group by l.phonenumber
;

2、第二个需求，求访问次数排名前3的url：
select l.url url,
count(l.url) as urlcount
from flow l
group by l.url
order by urlcount desc
limit 3
;

3.6 数据导出

3.6.1 hive数据导出分类
1. 从hive表中导出本地文件系统中(目录、文件)
2. 从hive表中导出hdfs文件系统中
3. hive表中导出到其它hive表中  # 就是上面的复制表
3.6.2 导出到目录下
--1. 导出数据到本地文件系统的目录下
insert overwrite local directory '/root/out/00'
select * from student; 


#######   注意：如果出现以下异常：
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20221106234007_95faacb8-188f-4886-9b7b-3700535dd853
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
解决方案：
在hive中执行
set hive.exec.mode.local.auto=true;(默认为false)
#######


--2. 导出数据到hdfs的目录下
insert overwrite directory '/root/out/01'
select * from student;

-- 导出的文件中字段默认不分隔。

--3. 修改导出后的列与列之间的格式：
insert overwrite local directory '/root/out/01'
row format delimited fields terminated by ','
select * from student;
3.6.3 直接导入到本地文件系统的文件中：
[root@hadoop01 ~]# hive -e 'select * from exercise.student' >> /root/out/02;
-- 导出的文件中字段分隔符默认是\t

菜鸟进阶站
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
博客
PostgreSQL 介绍与安装
06-29 410
数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API 用于创建，访问，管理，搜索和复制所保存的数据。我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
博客
【Linux】常见面试题2023版
01-11 1049
cat （concatenate：显示或把多个文本文件连接起来）查看文件命令（可以快捷查看当前文件的内容）（不能快速定位到最后一页）ll （ll：list的缩写，查看列表详情）查看当前目录下的所有详细信息和文件夹（ll 结果是详细,有时间,是否可读写等信息）ls （ls：list的缩写，查看列表）查看当前目录下的所有文件夹（ls 只列出文件名或目录名）more （more：更多的意思）分页查看文件命令（不能快速定位到最后一页）tail（尾巴） 查看文件命令（看最后多少行）
博客
【20天快速掌握Python】day20-手动搭建HTTP服务器
01-01 938
除了使用浏览器给服务器发送请求以外，我们还可以使用第三方模块requests用代码来给服务器发送器请求，并获取结果。# 方法二: 只能用于get请求# 2.获取请求结果# 2)响应体(数据)# a.获取二进制对应的原数据(数据本身是图片、压缩文件、视频等文件数据)# b.获取字符类型的数据# c.获取json数据(json转换成python对应的数据)
博客
【20天快速掌握Python】day19-HTTP协议
12-31 448
当我们编写一个页面时，我们只需要在HTTP请求中把HTML发送出去，不需要考虑如何附带图片、视频等，浏览器如果需要请求图片和视频，它会发送另一个HTTP请求，因此，一个HTTP请求只处理一个资源(此时就可以理解为TCP协议中的短连接，每个链接只获取一个资源，如需要多个就需要建立多个链接)当存在Content-Encoding时，Body数据是被压缩的，最常见的压缩方式是gzip，所以，看到Content-Encoding: gzip时，需要将Body数据先解压缩，才能得到真正的数据。
博客
【20天快速掌握Python】day18-进程
12-30 846
1）如果block使用默认值，且没有设置timeout（单位秒），消息列队如果为空，此时程序将被阻塞（停在读取状态），直到从消息列队读到消息为止，如果设置了timeout，则会等待timeout秒，若还没读取到任何消息，则抛出"Queue.Empty"异常；开启过多的进程并不能提高你的效率，反而会降低你的效率，假设有500个任务，同时开启500个进程，这500个进程除了不能一起执行之外（cpu没有那么多核），操作系统调度这500个进程，让他们平均在4个或8个cpu上执行，这会占用很大的空间。
博客
【20天快速掌握Python】day17-线程
12-29 246
Queue是一个先进先出（First In First Out）的队列，主进程中创建一个Queue对象，并作为参数传入子进程，两者之间通过put( )放入数据，通过get( )取出数据，执行了get( )函数之后队列中的数据会被同时删除，可以使用multiprocessing模块的Queue实现多进程之间的数据传递。如果此时另一个线程试图获得这个锁，该线程就会变为“blocked”状态，称为“阻塞”，直到拥有锁的线程调用锁的release()方法释放锁之后，锁进入“unlocked”状态。
博客
【20天快速掌握Python】day16-多任务
12-28 184
在现实生活中，有很多的场景中的事情是同时进行的，比如跳舞和唱歌是同时进行的。在程序中，可以使用代码来模拟唱歌和跳舞的功能：​print("正在唱歌...%d"%i)​print("正在跳舞...%d"%i)​sing() #唱歌dance() #跳舞很显然刚刚的程序并没有完成唱歌和跳舞同时进行的要求多任务。
博客
【20天快速掌握Python】day15-网络编程
12-27 583
一个udp网络程序，可以不绑定，此时操作系统会随机进行分配一个端口，如果重新运行此程序端口可能会发生变化一个udp网络程序，也可以绑定信息（ip地址，端口号），如果绑定成功，那么操作系统用这个端口号来进行区别收到的网络数据是否是此进程的。
博客
【20天快速掌握Python】day14-正则表达式
12-26 766
正则表达式是一个特殊的字符序列，计算机科学的一个概念。通常被用来检索、替换那些符合某个模式(规则)的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用re模块。re 模块使 Python 语言拥有全部的正则表达式功能。1.1 特点：灵活性、逻辑性和功能性非常强；可以迅速地用极简单的方式达到字符串的复杂控制。对于刚接触的人来说，比较晦涩难懂。1.2 Python中的正则表达式与大多数编程语言相同，正则表达式里也使用\
博客
【20天快速掌握Python】day13-序列化反序列化和异常处理
12-25 174
如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定的规律计算生成的，那么也就意味着可以不用再依赖一个已有的数据集合，也就是说不用再将所有要迭代的数据都一次性缓存下来供后续依次读取，这样可以节省大量的存储（内存）空间。通过上面的分析，我们已经知道，迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使用next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。实际上，在使用next()函数的时候，调用的就是迭代器对象的。迭代器是一个可以记住遍历的位置的对象。
博客
【20天快速掌握Python】day12-文件操作
12-24 957
改良版本的程序是对可能发生异常的代码处进行 try 捕获，使用 try/finally 语句，该语句表示如果在 try 代码块中程序出现了异常，后续代码就不再执行，而直接跳转到 except 代码块。程序在运行过程中，由于我们的编码不规范，或者其他原因一些客观原因，导致我们的程序无法继续运行，此时，程序就会出现异常。比如文件关闭，释放锁，把数据库连接返还给连接池等。设计一套协议，按照某种规则，把内存中的数据转换为字节序列，保存到文件，这就是序列化，反之，从文件的字节序列恢复到内存中，就是反序列化。
博客
【20天快速掌握Python】day11-面向对象进阶
12-23 209
举个常见的单例模式例子，我们日常使用的电脑上都有一个回收站，在整个操作系统中，回收站只能有一个实例，整个系统都使用这个唯一的实例，而且回收站自行提供自己的实例。最好是提供一个父类 Dog，具备 work 的功能，其他小狗继承它，这样只要是小狗类，则行为被统一起来了，我们人类完全可以保证，只要是小狗的子类，找它干活肯定不会有问题。定义：多态是一种使用对象的方式，子类重写父类方法，调用不同子类对象的相同父类方法，可以产生不同的执行结果。父类与子类，主要体现在代码的重用，不需要大量的编写重复代码。
博客
【20天快速掌握Python】day10-面向对象基础
12-22 247
这个模板只规定了飞机的某些特征(例如大小，颜色，型号等等)和行为(例如起飞，降落，飞行等等)，它并不是一个具体的飞机，而是对飞机的一个抽象概念。Python 的类里提供的，两个下划线开始，两个下划线结束的方法，就是魔法方法，魔法方法在恰当的时候就会被激活，自动执行。在实际开发中，对象的某些属性或者方法可能只希望在对象的内部别使用，而不希望在外部被访问到，这时就可以定义私有属性和私有方法。，对象属性又称为实例属性，记录对象各自的数据，不同对象的同名实例属性，记录的数据各自独立，互不干扰。
博客
【20天快速掌握Python】day09-模块和包
12-21 667
通过这种方式引入的时候，调用函数时只能给出函数名，不能给出模块名，但是当两个模块中含有相同名称函数的时候，后面一次引入会覆盖前一次引入。也就是说假如模块A中有函数function( )，在模块B中也有函数function( )，如果引入A中的function在先、B中的function在后，那么当调用function函数的时候，是去执行模块B中的function函数。但是，需要注意的是，如果一个py文件要作为一个模块被别的代码使用，这个py文件的名字一定要遵守标识符的命名规则。
博客
【20天快速掌握Python】day08-高阶函数
12-20 185
如果一个函数在内部不调用其它的函数，而是自己本身的话，这个函数就是递归函数。
博客
【20天快速掌握Python】day07-函数
12-19 233
因为其作用范围只是在自己的函数内部，所以不同的函数可以定义相同名字的局部变量（打个比方，把你、我是当做成函数，把局部变量理解为每个人手里的手机，你可有个iPhone8，我当然也可以有个iPhone8了， 互不相关）在本小节刚开始的时候，说过的“买冰淇淋”的例子中，最后儿子给你冰淇淋时，你一定是从儿子手中接过来 对么，程序也是如此，如果一个函数返回了一个数据，那么想要用这个数据，那么就需要保存。定义了函数之后，就相当于有了一个具有某些功能的代码，想要让这些代码能够执行，需要调用它调用函数很简单的，通过。
博客
【20天快速掌握Python】day06-元组、字典、集合
12-18 445
字典中找某个元素时，是根据'名字'（就是冒号:前面的那个值，例如上面代码中的'name'、'id'、'sex'）info = {'name':'班长', 'id':100, 'sex':'f', 'address':'地球亚洲中国上海'}info = {'name':'配的龙','high':'183cm','weigh':'65kg'}字典的每个元素由2部分组成，键:值。例如 'name':'班长' ,'name'为键，'班长'为值。添加之后的字典为:{'name': '班长', 'id': 100}
博客
【20天快速掌握Python】day05-列表
12-17 579
它们的使用和字符串里的使用效果一致。sort方法是将list按特定顺序重新排列，默认为由小到大，参数reverse=True可改为倒序，由大到小。while 循环是一种基本的遍历列表数据的方式，但是最常用也是最简单的方式是使用 for 循环。in的方法只要会用了，那么not in也是同样的用法，只不过not in判断的是不存在。我们是通过指定下标来访问列表元素，因此修改元素的时候，为指定的列表下标赋值即可。一个列表中的元素又是一个列表，那么这就是列表的嵌套。类似while循环的嵌套，列表也是支持嵌套的。
博客
【20天快速掌握Python】day04-字符串
12-15 504
字符串可以理解为一段普通的文本内容，在python里，使用引号来表示一个字符串，不同的引号表示的效果会有区别。
博客
【20天快速掌握Python】day03-流程控制语句
12-14 328
while语句，会先执行一次判断条件，如果条件成立，会执行一次代码块，代码块执行完成以后，会再次判断条件语句，如果还成立，将会再执行代码语句... 直到最后条件不成立。除了while循环以外，for可以完成循环的功能。在Python中 for循环可以遍历任何序列的项目，如一个列表或者一个字符串等。elif必须和if一起使用，否则出错 else 一般用在最后，即所有条件都不满足时使用。break和continue都用在循环语句里，用来控制循环。1.3 if...elif...else语句的使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值