Hive元数据

1. 数据库（Database）：
        在Hive中，数据库是一个逻辑上的命名空间，它可以包含一张或多张表。数据库的创建是通过CREATE DATABASE语句完成的。

CREATE DATABASE IF NOT EXISTS my_database;
2. 表（Table）：
        表是Hive存储数据的基本单位，它由列和行组成。每个表都有一个模式，定义了列的名字、类型和其他属性。表可以存储在HDFS上，也可以存储在其他Hive支持的存储系统中。

CREATE TABLE IF NOT EXISTS my_database.my_table (
    column1 INT,
    column2 STRING,
    column3 DOUBLE
)
COMMENT 'This is a test table'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
3. 分区（Partition）：
        分区是表的一个特性，它允许你根据某些列的值将数据划分为多个目录。分区可以提高查询效率，因为Hive可以跳过不必要的目录。

CREATE TABLE IF NOT EXISTS my_database.my_partitioned_table (
    column1 INT,
    column2 STRING,
    column3 DOUBLE
)
PARTITIONED BY (partition_column DATE)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
4. 桶（Bucket）：
        桶是另一种优化存储和查询性能的方法。它将数据进一步划分成更小的存储单元，通常用于对大数据集进行采样。

CREATE TABLE IF NOT EXISTS my_database.my_bucketed_table (
    column1 INT,
    column2 STRING,
    column3 DOUBLE
)
CLUSTERED BY (column1) INTO 8 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
5. 存储格式（Storage Format）：
        存储格式定义了数据在HDFS上的存储方式。Hive支持多种存储格式，包括TEXTFILE、PARQUET、ORC、AVRO等。

-- 使用PARQUET存储格式
CREATE TABLE IF NOT EXISTS my_database.my_parquet_table (
    column1 INT,
    column2 STRING,
    column3 DOUBLE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS PARQUET;
6. 外部表（External Table）：
        外部表是基于外部数据创建的表，它的数据存储在Hive之外，通常是在HDFS上。

CREATE EXTERNAL TABLE IF NOT EXISTS my_database.my_external_table (
    column1 INT,
    column2 STRING,
    column3 DOUBLE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/path/to/data';
这些是Hive存储结构的基本组成部分。根据你的需求，你可以选择不同的存储格式、分区和桶来优化数据存储和查询性能。

分享

Hive元数据

在Hive中，元数据是关于数据库、表、分区和其他Hive对象的信息，这些信息被存储在一个关系数据库中，通常是Derby或MySQL。Hive元数据对于管理和查询Hive数据非常重要，因为它提供了关于表结构、数据位置、分区信息等的详细信息。

元数据的存储位置可以在Hive的配置文件hive-site.xml中配置：

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://localhost:9083</value>
</property>
在Hive中，你可以使用DESCRIBE语句来查看表的元数据：

DESCRIBE DATABASE my_database;
DESCRIBE TABLE my_table;
此外，还可以使用以下命令来查询和管理Hive元数据：

SHOW DATABASES;：列出所有数据库。
SHOW TABLES;：列出当前数据库中的所有表。
SHOW PARTITIONS table_name;：列出指定表的所有分区。
SHOW COLUMNS FROM table_name;：显示表中的列信息。
元数据服务（Metastore）是Hive的核心组件之一，它负责管理和提供元数据服务。Metastore还负责记录Hive中各种操作的历史，例如查询的执行时间、执行计划等。

在生产环境中，为了高可用性和容错性，通常会使用支持高可用性和故障转移的元数据存储解决方案，如Apache Ambari、Cloudera Manager或Hive Metastore服务。