Hive数仓操作（五）

一、Hive 信息查看

1. Hive的元数据管理：

   • Hive 将表的元数据（如表名、列名、类型等）存储在关系型数据库中，通常是 MySQL。元数据的主要表包括：
     • TBLS：存储表的信息（表名、类型、ID 等）。
     • COLUMNS_V2：存储每个列的详细信息（列名、类型等）。
     • DBS：存储数据库的信息。
     • SDS：存储数据文件的位置。

2. Mysql数据字典查询：

   • 查询表信息：

     SELECT * FROM TBLS;               -- 查询表名
     SELECT * FROM COLUMNS_V2;         -- 查询列信息
     SELECT * FROM DBS;                 -- 查询数据库信息
     SELECT * FROM SDS;                 -- 查询数据文件位置信息
     

3. Hive查看表定义的命令：

   • 查看表的结构信息：

     DESC table_name;                    -- 查看表定义信息
     DESC EXTENDED table_name;           -- 查看表详细信息
     DESC FORMATTED table_name;          -- 格式化显示表定义的详细信息
     SHOW CREATE TABLE table_name;        -- 查看创建表的语句
     

4. Hive与MySQL的关系：

• Hive 将其元数据存储在 MySQL 数据库中，使用 MySQL 作为 Hive 的 metastore。
• MySQL 负责存储 Hive 表、列、数据库等的结构信息，而实际数据则存储在 HDFS 中。
• Hive 依赖于 Hadoop 提供的数据存储能力，同时通过 MySQL 管理其结构化的元数据。

---

二、 Hive表的复制方式

1. 复制一个表的结构（复制列的定义和数据类型，不包括分隔符，表属性等）和数据

使用 CREATE TABLE AS SELECT 语句，可以将一个查询的结果创建成一个新表。这种方法将同时复制表的结构和数据。

CREATE TABLE emp1 AS 
SELECT * FROM emp;

2. 复制一个表的某些列来创建新表

如果只想复制表中的特定列，可以在 SELECT 子句中指定所需的列。

CREATE TABLE emp2 AS 
SELECT empno, ename, deptno FROM emp;

3. 复制一个表的某些行来创建新表

如果想要根据特定条件复制表中的某些行，可以在 WHERE 子句中指定条件。

CREATE TABLE emp3 AS 
SELECT empno, ename, deptno FROM emp WHERE deptno = 20;

4. 复制表完整结构 （保留原表的所有属性包括分隔符、表注释等，但没有复制数据）

如果只想复制表的结构而不复制数据，可以使用 CREATE TABLE LIKE 语句。

CREATE TABLE emp4 LIKE emp;

---

三、 Hive表的插入方式

1. 将 SQL 语句的结果覆盖到已存在的表中

使用 INSERT OVERWRITE 语句将查询结果覆盖写入到一个已存在的表中。

INSERT OVERWRITE TABLE empl 
SELECT * FROM emp;

2. 将 SQL 语句的结果追加到已存在的表中

使用 INSERT INTO 语句将查询结果追加到已存在的表中。这将产生新的文件。

INSERT INTO TABLE empl 
SELECT * FROM emp;

3. 将 SQL 语句的结果保存到本地目录

使用 INSERT OVERWRITE LOCAL DIRECTORY 语句将查询结果保存到本地文件系统中。建议使用一个新空目录，以避免覆盖原有内容。

INSERT OVERWRITE LOCAL DIRECTORY '/opt/module/export/emp' 
SELECT * FROM emp;

4. 将 SQL 语句的结果格式化保存到 HDFS

使用 INSERT OVERWRITE DIRECTORY 语句将查询结果保存到 HDFS 目录中。需要指定结果的格式和分隔符。

INSERT OVERWRITE DIRECTORY '/datas/emp' 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
SELECT * FROM emp;

5. 将查询结果格式化导出到本地

使用 INSERT OVERWRITE LOCAL DIRECTORY 并设置格式化选项，将查询结果导出到本地。

INSERT OVERWRITE LOCAL DIRECTORY '/opt/module/export/emp1' 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t' 
SELECT * FROM emp;