hive基本操作

最新推荐文章于 2024-08-27 23:41:00 发布

温文尔雅的流氓

最新推荐文章于 2024-08-27 23:41:00 发布

阅读量7.7k

点赞数 3

分类专栏： Hive

本文链接：https://blog.csdn.net/hll19950830/article/details/79928523

版权

Hive 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1. 创建表格

简单案例

CREATE TABLE page_view (
page_url string,
ip string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

行之间默认以换行符隔开不需要指定

关系型数据库数据以二进制文件形式存储而hive中的数据以文本文件形式存储

复杂案例

CREATE TABLE people(
id string,
name string,
hobby ARRAY<string>,
address MAP<string, string>
)
PARTITIONED BY(dt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'

STORED AS TEXTFILE;

PARTITIONED BY(dt string)指定以日期进行分区（dt===date）

FIELDS TERMINATED BY '\t' 指定字段之间以制表符进行分隔

COLLECTION ITEMS TERMINATED BY ',' 指定元素之间以逗号进行分隔

MAP KEYS TERMINATED BY '：' 指定集合的键值对之间以冒号进行分隔

STORED AS TEXTFILE 指定数据以文本文件形式进行存储

注意：

（1）元素之间不能以分号分隔因为hive默认分号为语句的结束符

（2）PARTITIONED BY(dt string)不能放在STORED AS TEXTFILE 之后

插入数据的格式如下：

插入数据的命令：

load data local inpath '/test/test.txt' into table people PARTITION(dt='2018-4-13');

local表示将本地数据插入到hive中如果不写就表示将hdfs上的数据插入到hive中

创建表格时如果加上external则表示外表默认是内表

2. 查看表结构

3. 查看数据

通过浏览器查看hdfs上存放数据的具体位置：

此处数据的存储路径由hive配置文件（hive-site.xml）指定

在表的目录下会创建分去目录分区目录下存放具体的数据

4. 从一张表查询数据插入到另外一张表

先创建一张新表

CREATE TABLE people_new(
id string,
name string,
hobby ARRAY<string>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','

STORED AS TEXTFILE;

选择people表中的id name和hobby字段添加到people_new表中

INSERT OVERWRITE TABLE people_new SELECT id,name,hobby FROM people;

5. 清空某张表中的数据（可以直接用insert实现 OVERWRITE会用新的数据覆盖原表中的数据也可以使用truncate）

INSERT OVERWRITE TABLE people_new SELECT* FROM people WHERE 1=2;

6. 删除表所在的分区（内表与外表的对比和区别）

ALTER TABLE people DROP IF EXISTS PARTITION(dt='2018-4-13');

可以发现表所在的分区会消失同时表中的数据也会丢失

创建一张外表

CREATE EXTERNAL TABLE people(
id string,
name string,
hobby ARRAY<string>,
address MAP<string, string>
)
PARTITIONED BY(dt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'

STORED AS TEXTFILE;

插入数据：load data local inpath '/test/test.txt' into table people PARTITION(dt='2018-4-13');

删除该表所在分区：ALTER TABLE people DROP IF EXISTS PARTITION(dt='2018-4-13');

发现hfds中的分区和数据依然存在但是hive中已经查询不到数据了