hive sql 查看表的存储存储格式

久三年w

于 2024-08-01 04:30:43 发布

阅读量31

点赞数

文章标签： hive sql hadoop 数据仓库大数据

给大家整理了一些有关【存储,Hive】的项目学习资料（附讲解～～）：

https://edu.51cto.com/course/33653.html

https://edu.51cto.com/course/31545.html

Hive SQL 查看表的存储和存储格式

在使用 Hive 进行数据分析时，了解表的存储及其格式是非常重要的。这不仅可以帮助你优化查询，也能在数据处理时避免潜在的错误。本文将指导你如何在 Hive 中查看表的存储和存储格式，同时提供详细步骤及代码示例。

流程概述

下面是查看 Hive 表的存储格式的基本流程：

步骤	描述
1	连接到 Hive 服务器
2	使用 `SHOW TABLES` 命令查看所有表
3	使用 `DESCRIBE FORMATTED` 命令查看表的详细信息
4	检查输出以确认存储格式

类图

下面是查看表存储格式的类图，使用 mermaid 语法绘制：

详细步骤

1. 连接到 Hive 服务器

你需要先连接到 Hive 服务器。可以使用 Hive CLI 或 Beeline 工具。以下是用 Beeline 连接的示例代码：

!connect jdbc:hive2://<hive-server-hostname>:<port> <username> <password>
-- 连接到 Hive 服务器，其中 <hive-server-hostname> 为 Hive 服务器的 IP 地址或域名，<port> 为端口号
-- <username> 和 <password> 是你的 Hive 凭据

2. 查看所有表

连接成功后，你可以查看当前数据库中的所有表。使用以下命令：

3. 描述表的详细信息

找到你关心的表名后，使用 DESCRIBE FORMATTED 命令查看该表的详细信息。这个命令可以提供关于表的存储格式、分隔符和其他信息。

DESCRIBE FORMATTED your_table_name;
-- 替换 your_table_name 为你要查询的表名
-- 此命令将返回该表的详细信息，包括存储格式等

4. 检查输出

执行 DESCRIBE FORMATTED 后，Hive 将输出表的各个属性。你可以在输出中寻找以下信息：

InputFormat: 指定数据的输入格式，默认一般是 org.apache.hadoop.hive.ql.io.parquet.ObjectInspector。
OutputFormat: 指定数据的输出格式，通常与输入格式相同。
Location: 指向 Hive 存储数据的目录。

下面是示例输出的一部分：

# Partition Information
# col_name              data_type               comment

# Detailed Table Information
Database:               default
Table Name:            your_table_name
Owner:                 your_username
Created Time:          ...
Last Access Time:      ...
Properties:
    ...
    inputFormat:       org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
    outputFormat:      org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat
    ...
Location:             hdfs://<namenode>:<port>/user/hive/warehouse/your_table_name

从这个输出中，你可以很清楚地看到表的存储格式。针对 Parquet 格式，你会看到 inputFormat 和 outputFormat 都是 org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat 和 org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat。