【大数据技术】Hive基本原理以及使用教程

Hive 的基本原理：

1. 元数据存储：Hive 使用元数据来描述数据存储在Hadoop分布式存储系统中的方式。元数据包含表的schema（列名、数据类型等）、表的分区、表的位置等信息，这些元数据通常存储在关系型数据库中，如MySQL。

2. HiveQL查询解析：用户使用类SQL语言HiveQL编写查询，Hive会将HiveQL语句解析成抽象语法树AST（Abstract Syntax Tree），然后转化为逻辑执行计划，最终转换为物理执行计划。

3. 执行引擎：Hive可以运行在不同的执行引擎上，比如MapReduce、Tez、Spark等。执行引擎负责将物理执行计划转换为任务并在Hadoop集群上执行。

4. 数据存储格式：Hive支持多种数据存储格式，如文本文件、Parquet、ORC等。选择合适的数据存储格式可以影响查询性能和存储效率。

Hive 的详细使用教程：

1. 启动Hive：

在终端输入 hive 命令启动Hive CLI（命令行界面）。

2. 创建数据库：

CREATE DATABASE IF NOT EXISTS mydatabase;

3. 创建表：

CREATE TABLE IF NOT EXISTS mytable (
    id INT,
    name STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

4. 加载数据：

LOAD DATA LOCAL INPATH '/path/to/datafile.csv' OVERWRITE INTO TABLE mytable;

5. 查询数据：

SELECT * FROM mytable WHERE id = 1;

6. 分区表：

CREATE TABLE IF NOT EXISTS partitioned_table (
    id INT,
    name STRING
) PARTITIONED BY (date STRING);

7. 使用内置函数：

SELECT COUNT(*) FROM mytable;

8. 自定义函数：

可以编写自定义函数（UDF、UDAF）并在Hive中注册和使用以扩展功能。

9. 优化查询：

• 使用分区和桶来提高查询性能。
• 通过合理设计表结构、使用合适的数据存储格式、调整参数等方式优化查询性能。

10. 退出Hive：

在Hive CLI中输入 quit; 或 exit; 命令退出Hive。

参考资料

Hive（总）看完这篇，别说你不会Hive！-CSDN博客

大数据技术之Hive-尚硅谷