hive操作大全

已于 2022-11-22 14:25:35 修改
阅读量1.5k 收藏 8
点赞数 2
分类专栏： hive hadoop 文章标签： hive 数据库 big data
于 2022-06-01 09:42:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63525319/article/details/125076855
版权

目录

创建和查询数据库

查询数据库

修改数据库

切换数据库

删除数据库

创建和查询数据库

  • 掌握常用的建库语句
  • 掌握查询数据库的常用语句
  • 任务1：创建数据库
  • 任务2：查询数据库
 

1.1 建库语法结构

CREATE（DATABASE| SCHEMA）[IFNOTEXISTS] database_name
  [COMMENT'database_comment']
  [LOCATION 'hdfs_path']
  [WITHDBPROPERTIES（'property_name'= 'property_value'，...）];

database 和 schema 的使用是可以互换的，它们的意思相同。

建库语句解析：

  • comment：可以为数据库增加描述信息；
  • location：指定数据库在HDFS上的存储位置，默认地址：/user/hive/warehouse/db_name.db/...；
  • with dbproperties：指定数据库属性。

1.2 建库语句

1. 创建普通数据库

创建一个数据库，数据库在HDFS上默认的存储路径是/user/hive/warehouse/db_name.db。

hive (default)> createdatabasetest;

执行结果如下所示：

图1

2. 创建库时检查是否存在

避免要创建的数据库发生已经存在的错误，增加 if not exists 判断。仅当名为 test 的数据库不存在时才创建：

hive (default)> createdatabaseifnotexiststest;

执行结果如下所示：

图2

3. 创建带注释的数据库

在创建数据库时可以使用 comment 指定描述信息：

hive (default)> createdatabaseifnotexiststest2 comment'learning hive';

通过describe database可以查看到数据库的详细信息：

hive (default)> describedatabasetest2;

执行结果如下所示：

图3

4. 指定数据库位置

我们可以在创建数据库时指定数据库在HDFS上存放的位置，默认的数据库存放路径是在 HDFS 的 /user/hive/warehouse 目录下：

hive (default)> createdatabaseifnotexiststest3 location '/mydb/test3.db';

指定数据库 test3 在 HDFS 上的存放位置为 /mydb/test3.db，效果如下所示：

图4

5. 创建带属性的数据库

数据库可以有一些描述性的键值对信息，在创建数据库时使用with dbproperties进行指定：

hive (default)> createdatabaseifnotexiststest4
              > withdbproperties('creator'='root','date'='2020-05-13');

查看数据库的键值对信息：

hive(default)> describe database extended test4;

执行结果如下所示：

图5

查询数据库

2.1 语法结构

SHOW(DATABASES| SCHEMAS) [LIKE'identifier'];

语句解析：

  • like：使用 like 从句利用正则表达式对数据库进行过滤，只是通配符仅仅能是*（任意字符）或者|（或选择），通配符必须要使用单引号。

2.2 查库语句

1. 显示数据库

查看已经创建的数据库：

hive (default)> showdatabases;

执行结果如下所示：

图6

2. 过滤显示查询的数据库

如果数据库非常多，可以使用正则表达式来过滤数据库列表。正则表达式中的通配符只能是 *（任意字符）或“|”（或选择），另外，通配符必须要使用单引号。例如：查询以 “d” 开头或者以 “t” 结尾 的数据库：

hive (default)> showdatabaseslike'd*|*t';

执行结果如下所示：

图7

3. 查看数据库详情

通过describe database [extended]可以查看到数据库的详细属性信息：

hive (default)> describedatabase[extended] test4;

执行结果如下所示：

图8

4. 查看当前数据库

可以使用如下命令查看正在使用的是哪个数据库：

hive (default)> selectcurrent_database();

执行结果如下所示：

图9

5. 查看创库详细语句

我们可以使用 show create database 语句查看创建数据库的详细语句：

hive (default)> showcreatedatabasetest4;

执行结果如下所示：

图10

从上图可以看出，Hive为每一个数据库创建一个目录，默认的存储地址为 /user/hive/warehouse/db_name.db，这个数据库中的表将会以子目录的形式放在这个数据库目录下。

 
  • 掌握修改数据库属性的相关命令
  • 知晓如何切换数据库
  • 掌握删除数据库的命令

任务清单

  • 任务1：修改数据库
  • 任务2：切换数据库
  • 任务3：删除数据库

修改数据库

1.1 语法结构

# 修改数据库属性ALTER(DATABASE|SCHEMA) database_name SETDBPROPERTIES('property_name'= 'property_value'，...);
# 修改数据库的用户或角色ALTER(DATABASE|SCHEMA) database_name SETOWNER [USER| ROLE] user_or_role;
# 修改数据的存储位置ALTER(DATABASE|SCHEMA) database_name SETLOCATION hdfs_path;  #（注：Hive 2.2.1,2.4.0 及更高版本）

database 和 schema 的使用是可以互换的，它们的意思相同。

alter database ... set location 语句不会将数据库当前目录的内容移动到新指定的位置。它不会更改与指定数据库下的任何表/分区关联的位置。它只更改为该数据库添加新表的默认父目录。这种行为类似于更改表目录不会将现有分区移动到其他位置。

关于数据库的其他元数据不能更改，包括数据库名和数据库所在的目录位置（本Hive版本2.3.4）。

1.2 修改语句

1. 为库增添属性

用户可以使用 alter database 命令为某个数据库的 dbproperties 设置键值对属性值，来描述这个数据库的属性信息。

首先，我们创建一个普通数据库，创库语句如下所示：

hive (default)> createdatabasetest;

执行结果如下所示：

图1

之后，我们为 test 数据库增添 'createtime'='2020-05-14' 的键值对属性：

hive (default)> alterdatabasetestsetdbproperties('createtime'='2020-05-14');

执行结果如下所示：

图2

最后，通过describe database extended查看到数据库的详细属性信息：

hive (default)> describedatabaseextendedtest;

执行结果如下所示：

图3

2. 为库修改属性

我们可以为数据库增添属性，同样也可以修改现有的属性值，现在我们将数据库 test 的 'createtime' 属性的值修改为'2020-5-20'：

hive (default)> alterdatabasetestsetdbproperties('createtime'='2020-05-20');

查看修改之后的属性值：

hive (default)> describedatabaseextendedtest;

执行结果如下所示：

图4

3. 修改用户或角色

因为当前我们使用root用户登录的 Hive，所以 test 数据库默认的拥有者是 root，我们可以使用alter database 命令将 test 数据库的用户或者角色修改为 hongya：

hive (default)> alterdatabasetestsetowner userhongya;  # 修改用户hive (default)> alterdatabasetestsetowner rolehongya;  # 修改角色

通过describe database可以查看到数据库的详细信息：

hive (default)> describedatabasetest;

执行结果如下所示：

图5

切换数据库

默认使用的 default 数据库，我们可以使用 use 命令切换到任意已经存在的数据库中：

hive (default)> usetest;

执行结果如下所示：

图6

删除数据库

3.1 语法结构

DROP(DATABASE|SCHEMA) [IFEXISTS] database_name [RESTRICT | CASCADE];

默认行为是 restrict，如果数据库不为空，drop database 将失败。

要想删除不为空的数据库，需要使用 drop database ... cascade。

3.2 删除语句

1. 删除空数据库

我们可以使用drop database删除空数据库 test：

hive (default)> dropdatabasetest;

执行结果如下所示：

图7

2. 删除库时检查是否存在

避免删除数据库时发生数据库不存在的错误，我们可以增加 if exists 判断。仅当名为 test 的数据库存在时才删除：

hive (default)> dropdatabaseifexiststest;

执行结果如下所示：

图8

3. 删除非空数据库

默认情况下，Hive 不允许删除包含表的数据库，有两种解决办法：

（1）手动删除库下所有表，然后删除库；

（2）使用 cascade 关键字。

hive (default)> dropdatabaseifexiststestcascade;

执行结果如下所示：

图9

从上图可以看出，我们在删除数据库 test 时，提醒 “Database test is not empty”，此时只需要加上cascade 关键字即可将非空数据库成功删除。

ctf^_^
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive基本操作命令大全
03-04
该文档详细的介绍了hive的命令操作，从增删改查等方面进行整理，同时还有补充的一些命令操作。
Hive数据库实操
qq_42053753的博客
07-24 289
-创建数据库--创建数据库并制定HDFS存储位置--查看数据库信息--删除一个空数据库，如果数据库下面有数据表，那么就会报错--强制删除数据库，包含数据库下面的表一起删除。
Hive数据库操作
最新发布
m0_66301161的博客
06-18 1155
原因：手动在hdfs创建的分区目录信息，并没有保存到元数据库中，所以查询的时候从mysql元数据库查询不到country=en的分区信息，所以查不到数据。方案一（手动修复）：想要读取到country=en分区的数据，可以添加country=en分区的元数据信息到mysql。思考：能否手动在hdfs添加一个分区目录country=en，并上传文件数据，那么在分区表中能否查到新的分区数据呢？​ 内部表又称受控表，当删除内部表的时候，存储在文件系统上的数据（例。不存在的，需要在添加数据的时候手动指定。
Hive架构设计原理
weixin_52464817的博客
07-25 887
2.直接输入hive回车，进入hive。4.查看数据库中所有表。1.切换到可以操作hive的用户。1.Hive运行流程详解。2.Hive基本使用。
Hive基本操作
weixin_44246850的博客
01-05 7903
1、开启hive 1.1 进入 hive/bin [root@hadoop0001 bin]#cd /opt/software/apache-hive-1.2.1-bin/bin/ 1.2执行 hive 命令，开启hive [root@hadoop0001 bin]#hive 1.3若开启正常跳过，若报Cannot create directory /tmp/hive/root/533855bd-351b-4146-9227-10c16868ffd3. Name node is in .
Hive详解——基本操作归纳
一名小码农的博客
11-30 2721
文章目录一、Hive基本概念1. 什么是 Hive1）hive 简介2）Hive 本质:将 HQL 转化成 MapReduce 程序2. Hive 的优缺点1）优点2）缺点3. Hive 架构原理4. Hive 和数据库比较1）查询语言2）数据更新3）执行延迟4）数据规模二、Hive安装1. Hive 安装地址2. 安装MySQL3. Hive 安装部署4. Hive 元数据配置到 MySQL5. 启动并使用 Hive1）启动 Hive2）使用 Hive3）Hadoop中查看文件6. 使用元数据服务的方式访
hive基础(二) hive操作大全
qq_24186017的博客
07-29 2091
目录 注：只是为了以后忘了，好翻。。。。。。。做个总结 一) hive 操作 1) hive -e 2) hive -f 3) 查看在hive中输入的所有历史命令 4) hive运行日志修改 二) hive参数配置 三) hive数据类型 基本数据类型 集合数据类型 1）复杂类型解释 2）建表语句： 3) 造数据 ：text.txt 4）load数据 5) 访问方式 hive类型转换 四) DDL操作 五) DML操作 六) 查询 七) 函数 八)压缩和存储 ..
Hive中查询操作
01-20
在Hive中，查询操作是数据处理的核心，它允许用户从大数据存储中提取所需的信息。以下将详细解析Hive查询语法及其基本查询方法。 一、Hive查询语法 Hive的查询语句遵循标准SQL的基本结构，但也有一些Hive特有的扩展...
Hive函数大全1.0
08-09
Hive 函数大全是 Hive 中内置的函数大全，提供了关系运算、数学运算、逻辑运算、复合类型构造函数、复合类型操作符、数值计算函数、集合操作函数、类型转换函数、日期函数、条件函数和字符串函数等多种函数，涵盖了 ...
hive函数大全1
08-04
在Hive中，数据处理和分析涉及大量的函数和运算符，这些工具使得用户可以对大量结构化数据进行复杂的查询和处理。本篇文章将详细介绍Hive中的关系运算和数学运算，帮助你更好地理解和运用Hive进行大数据分析。 一、...
Hadoop，Linux，Hive基础
t17246的博客
05-04 700
Linux 根目录视图主要目录树 基础命令 1关闭Linux： halt, shutdown -h now , poweroff 2重启linux： reboot ， shutdown -r now 3查看当前登录用户 whoami 切换用户： su tian 4修改用户密码 useradd [username] 添加用户 passwd [username] 5创建文件夹 : mkdir 6 查看目录内容 ： ls 7 查看当前路径： pwd 8创建文件 ： to.
hive入门详解(四)
登峰造极胡子球手
06-18 2577
查询 1，基本查询(select…from) 2，where语句 3，分组 4，join语句 5，排序 6，分桶及抽样查询 7，其他常用查询函数 1，基本查询(select..from) 1.1，全表和特定列查询 1．全表查询 hive (default)> select * from emp; 2．选择特定列查询 hive (default)> select empno, ename from emp; 注意： （1）SQL 语言大小写不敏感。 （2）SQL 可以写在一行或者多行 （3
【大数据基础实践】(六)数据仓库Hive的基本操作
面向生活编程
07-01 7031
目录1. 数据仓库概念2. Hive简介2.1 简介2.2 特性2.3 生态系统3. Hive系统架构4. HQL转成MapReduce作业的原理4.1 join的实现原理4.2 group by的实现原理5. 实验练习5.1 环境配置5.1.1 HIVE5.1.2 MYSQL5.1.3 配置MySql为hive元数据存储数据库5.2 Shell进行实验内容5.2.1 新建一个数据库；5.2.2 新建表5.2.3 添加分区5.2.4 导入grade_zqc5.2.5 统计男、女生人数5.2.6 统计每个学生
Hive入门详解操作
githubcurry
10-18 3705
FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理（包括元数据）。这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。 用户可
hive对数据库及表的操作
qq_51691017的博客
10-21 1212
hive对数据库及表的操作
Hive命令行常用操作（数据库操作，表操作）
lusijie的博客
12-06 4454
数据库操作 查看所有的数据库 hive> show databases ; 使用数据库default hive> use default; 查看数据库信息 hive > describe database default;  OK  db_name comment location owner_name owner_type parame
Hive概述与基本操作
weixin_52134189的博客
04-11 1253
Hive基本概念，hive架构，hive的数据库操作、表操作，内部表与外部表
hive数据库常用操作
06-18
Hive是一个基于Hadoop的数据仓库工具，它提供了一个SQL层来查询和管理大规模分布式数据集。以下是一些Hive中常用的数据库操作： 1. **创建表（CREATE TABLE）**：定义表结构，包括列名、数据类型和分区等。 ```sql CREATE TABLE my_table (column1 STRING, column2 INT, ...); ``` 2. **插入数据（INSERT INTO）**：将数据加载到表中，支持从其他表或文件导入。 ```sql INSERT INTO my_table VALUES ('value1', 10, ...); INSERT OVERWRITE TABLE my_table SELECT * FROM source_table; ``` 3. **查询数据（SELECT）**：执行SQL查询以获取数据。 ```sql SELECT * FROM my_table WHERE condition; ``` 4. **分区（PARTITION）**：根据特定列值将表分为多个物理子集，提高查询性能。 ```sql CREATE TABLE my_table (...) PARTITIONED BY (year INT, month STRING); ``` 5. **加载数据（LOAD DATA）**：将本地文件数据直接加载到表中。 ```sql LOAD DATA LOCAL INPATH 'file_path' INTO TABLE my_table; ``` 6. **修改和删除表（ALTER/DROP TABLE）**：更改表结构或完全删除表。 ```sql ALTER TABLE my_table ADD COLUMN new_column STRING; DROP TABLE IF EXISTS my_table; ``` 7. **分桶（BUCKETING）**：通过哈希函数将数据分布到不同的存储桶，用于范围查询优化。 8. **创建视图（CREATE VIEW）**：定义虚拟表，简化复杂的查询。 ```sql CREATE VIEW my_view AS SELECT * FROM my_table WHERE condition; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值