Hive之深入了解元数据

最新推荐文章于 2024-07-23 07:00:00 发布
最新推荐文章于 2024-07-23 07:00:00 发布
阅读量6.5k 收藏 53
点赞数 7
分类专栏： Hadoop # Hive 文章标签： hive 元数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666566/article/details/112306733
版权
Hadoop 同时被 2 个专栏收录
38 篇文章 2 订阅
订阅专栏
Hive
16 篇文章 2 订阅
订阅专栏

元数据

引言

元数据
\quad \quad 描述数据的数据，例如数据表的大小是100KB,数据表是数据，表大小是数据的数据。

1、Hive 元数据

\quad \quad Hive元数据包括hive库信息、表信息（表的属性、表的名称、表的列、分区及其属性）以及表数据所在的目录等。

\quad \quad Hive的元数据，默认是存储在derby中的，但是我们一般会修改其存储在关系型数据库比如MYSQL中（其可以在hive配置中修改），在关系型数据库中会有一个hive库，存放相应的表。

2、Hive 元数据表

  • 进入Mysql终端

在这里插入图片描述

  • 查看数据库信息
show databases;

在这里插入图片描述

  • 看是不是有一个Hive库。

2.1 Hive 库

  • 切到Hive库
use hive;
  • 查看库中所有表
mysql> show tables;
+---------------------------+
| Tables_in_hive            |
+---------------------------+
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| DATABASE_PARAMS           |
| DBS                       |
| DB_PRIVS                  |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| IDXS                      |
| INDEX_PARAMS              |
| PARTITIONS                |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_PRIVS            |
| PART_COL_STATS            |
| PART_PRIVS                |
| ROLES                     |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| TBL_COL_PRIVS             |
| TBL_PRIVS                 |
| VERSION                   |
+---------------------------+
36 rows in set (0.00 sec)

2.2 VERSION 表

  • 存储Hive版本的元数据表，该表中数据只有一条，如果存在多条，会造成hive启动不起来。
mysql> select * from VERSION;
+--------+----------------+---------------------------------------+
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT                       |
+--------+----------------+---------------------------------------+
|      1 | 1.2.0          | Set by MetaStore root@192.168.233.130 |
+--------+----------------+---------------------------------------+
1 row in set (0.02 sec)

2.3 Hive数据库相关的元数据表

2.3.1 DBS—数据库表

  • 该表存储Hive中所有数据库的基本信息
  • 表结构
mysql> show create table DBS;
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| DBS   | CREATE TABLE `DBS` (
  `DB_ID` bigint(20) NOT NULL,
  `DESC` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `DB_LOCATION_URI` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `OWNER_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `OWNER_TYPE` varchar(10) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  PRIMARY KEY (`DB_ID`),
  UNIQUE KEY `UNIQUE_DATABASE` (`NAME`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

在这里插入图片描述

mysql> select * from DBS;
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://master:9000/user/hive/warehouse         | default | public     | ROLE       |
|    11 | NULL                  | hdfs://master:9000/user/hive/warehouse/test.db | test    | root       | USER       |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
2 rows in set (0.00 sec)

2.3.2 DATABASE_PARAMS表—数据库参数表

  • 该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES (property_name=property_value, …)指定的参数。
  • 表结构
mysql> show create table DATABASE_PARAMS;
+-----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table           | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                            |
+-----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| DATABASE_PARAMS | CREATE TABLE `DATABASE_PARAMS` (
  `DB_ID` bigint(20) NOT NULL,
  `PARAM_KEY` varchar(180) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `PARAM_VALUE` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  PRIMARY KEY (`DB_ID`,`PARAM_KEY`),
  KEY `DATABASE_PARAMS_N49` (`DB_ID`),
  CONSTRAINT `DATABASE_PARAMS_FK1` FOREIGN KEY (`DB_ID`) REFERENCES `DBS` (`DB_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

在这里插入图片描述

2.4 Hive数据表相关的元数据表

2.4.1 TBLS表—数据表的元数据表

  • 该表中存储Hive表、视图、索引表的基本信息。
  • 表结构
mysql> show create table TBLS;
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| TBLS  | CREATE TABLE `TBLS` (
  `TBL_ID` bigint(20) NOT NULL,
  `CREATE_TIME` int(11) NOT NULL,
  `DB_ID` bigint(20) DEFAULT NULL,
  `LAST_ACCESS_TIME` int(11) NOT NULL,
  `OWNER` varchar(767) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `RETENTION` int(11) NOT NULL,
  `SD_ID` bigint(20) DEFAULT NULL,
  `TBL_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `TBL_TYPE` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `VIEW_EXPANDED_TEXT` mediumtext,
  `VIEW_ORIGINAL_TEXT` mediumtext,
  PRIMARY KEY (`TBL_ID`),
  UNIQUE KEY `UNIQUETABLE` (`TBL_NAME`,`DB_ID`),
  KEY `TBLS_N50` (`SD_ID`),
  KEY `TBLS_N49` (`DB_ID`),
  CONSTRAINT `TBLS_FK1` FOREIGN KEY (`SD_ID`) REFERENCES `SDS` (`SD_ID`),
  CONSTRAINT `TBLS_FK2` FOREIGN KEY (`DB_ID`) REFERENCES `DBS` (`DB_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

mysql> select * from TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME      | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+
|     11 |  1608470832 |    11 |                0 | root  |         0 |    11 | orders        | MANAGED_TABLE | NULL               | NULL               |
|     12 |  1608515462 |    11 |                0 | root  |         0 |    12 | trains        | MANAGED_TABLE | NULL               | NULL               |
|     16 |  1609238892 |    11 |                0 | root  |         0 |    16 | prior         | MANAGED_TABLE | NULL               | NULL               |
|     29 |  1609383196 |    11 |                0 | root  |         0 |    42 | prior_bucket  | MANAGED_TABLE | NULL               | NULL               |
|     30 |  1609566691 |    11 |                0 | root  |         0 |    43 | employee      | MANAGED_TABLE | NULL               | NULL               |
|     31 |  1609923077 |    11 |                0 | root  |         0 |    46 | grade         | MANAGED_TABLE | NULL               | NULL               |
|     36 |  1609986997 |    11 |                0 | root  |         0 |    51 | article       | MANAGED_TABLE | NULL               | NULL               |
|     38 |  1609990640 |    11 |                0 | root  |         0 |    53 | student_score | MANAGED_TABLE | NULL               | NULL               |
+--------+-------------+-------+------------------+-------+-----------+-------+---------------+---------------+--------------------+--------------------+
8 rows in set (0.00 sec)

2.4.2 TABLE_PARAMS表—数据表属性信息表

  • 该表存储表/视图的属性信息。
  • 表结构

在这里插入图片描述

在这里插入图片描述

2.4.3 TBL_PRIVS—授权表

  • 该表存储表/视图的授权信息
  • 表结构
  • 在这里插入图片描述

2.5 Hive文件存储信息相关的元数据表

\quad \quad 由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

2.5.1 SDS表

  • 该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。
  • 表结构
mysql> show create table SDS;
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| SDS   | CREATE TABLE `SDS` (
  `SD_ID` bigint(20) NOT NULL,
  `CD_ID` bigint(20) DEFAULT NULL,
  `INPUT_FORMAT` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `IS_COMPRESSED` bit(1) NOT NULL,
  `IS_STOREDASSUBDIRECTORIES` bit(1) NOT NULL,
  `LOCATION` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `NUM_BUCKETS` int(11) NOT NULL,
  `OUTPUT_FORMAT` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `SERDE_ID` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`SD_ID`),
  KEY `SDS_N50` (`CD_ID`),
  KEY `SDS_N49` (`SERDE_ID`),
  CONSTRAINT `SDS_FK1` FOREIGN KEY (`CD_ID`) REFERENCES `CDS` (`CD_ID`),
  CONSTRAINT `SDS_FK2` FOREIGN KEY (`SERDE_ID`) REFERENCES `SERDES` (`SERDE_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

  • TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。
select 
  d.NAME, 
  t.TBL_NAME,
  s.INPUT_FORMAT,
  s.OUTPUT_FORMAT
from TBLS t
join DBS d
join SDS s
where t.DB_ID = d.DB_ID
and t.SD_ID = s.SD_ID
and d.NAME='test'
and s.INPUT_FORMAT like '%TextInputFormat%';

在这里插入图片描述

2.5.2 SD_PARAMS表

  • 该表存储Hive存储的属性信息，在创建表时候使用
  • STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
  • 表结构

在这里插入图片描述

2.5.3 SERDES表

  • 该表存储序列化使用的类信息
  • 表结构

在这里插入图片描述

2.5.4 SERDE_PARAMS表

  • 该表存储序列化的一些属性、格式信息,比如：行、列分隔符
  • 表结构

在这里插入图片描述

2.6 Hive表字段元数据表—COLUMNS_V2表

  • 该表存储表对应的字段信息
  • 表结构

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • comment注释要想支持中文的话，可在其设置

2.7 Hive表分区相关的元数据表

2.7.1 PARTITIONS表

  • 该表存储表分区的基本信息。
  • 表结构
mysql> show create table PARTITIONS;
+------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table      | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
+------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| PARTITIONS | CREATE TABLE `PARTITIONS` (
  `PART_ID` bigint(20) NOT NULL,
  `CREATE_TIME` int(11) NOT NULL,
  `LAST_ACCESS_TIME` int(11) NOT NULL,
  `PART_NAME` varchar(767) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `SD_ID` bigint(20) DEFAULT NULL,
  `TBL_ID` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`PART_ID`),
  UNIQUE KEY `UNIQUEPARTITION` (`PART_NAME`,`TBL_ID`),
  KEY `PARTITIONS_N50` (`SD_ID`),
  KEY `PARTITIONS_N49` (`TBL_ID`),
  CONSTRAINT `PARTITIONS_FK1` FOREIGN KEY (`SD_ID`) REFERENCES `SDS` (`SD_ID`),
  CONSTRAINT `PARTITIONS_FK2` FOREIGN KEY (`TBL_ID`) REFERENCES `TBLS` (`TBL_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

2.7.2 PARTITION_KEYS表

  • 该表存储分区的字段信息。
  • 表结构
mysql> show create table PARTITION_KEYS;
+----------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table          | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
+----------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| PARTITION_KEYS | CREATE TABLE `PARTITION_KEYS` (
  `TBL_ID` bigint(20) NOT NULL,
  `PKEY_COMMENT` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `PKEY_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `PKEY_TYPE` varchar(767) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `INTEGER_IDX` int(11) NOT NULL,
  PRIMARY KEY (`TBL_ID`,`PKEY_NAME`),
  KEY `PARTITION_KEYS_N49` (`TBL_ID`),
  CONSTRAINT `PARTITION_KEYS_FK1` FOREIGN KEY (`TBL_ID`) REFERENCES `TBLS` (`TBL_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+----------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

2.7.3 PARTITION_KEY_VALS表

  • 该表存储分区字段值。
  • 表结构
mysql> show create table PARTITION_KEY_VALS;
+--------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table              | Create Table                                                                                                                                                                                                                                                                                                                                                                                                             |
+--------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| PARTITION_KEY_VALS | CREATE TABLE `PARTITION_KEY_VALS` (
  `PART_ID` bigint(20) NOT NULL,
  `PART_KEY_VAL` varchar(255) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `INTEGER_IDX` int(11) NOT NULL,
  PRIMARY KEY (`PART_ID`,`INTEGER_IDX`),
  KEY `PARTITION_KEY_VALS_N49` (`PART_ID`),
  CONSTRAINT `PARTITION_KEY_VALS_FK1` FOREIGN KEY (`PART_ID`) REFERENCES `PARTITIONS` (`PART_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+--------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

2.7.4 PARTITION_PARAMS表

  • 该表存储分区的属性信息
  • 表结构
mysql> show create table PARTITION_PARAMS;
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table            | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| PARTITION_PARAMS | CREATE TABLE `PARTITION_PARAMS` (
  `PART_ID` bigint(20) NOT NULL,
  `PARAM_KEY` varchar(256) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `PARAM_VALUE` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  PRIMARY KEY (`PART_ID`,`PARAM_KEY`),
  KEY `PARTITION_PARAMS_N49` (`PART_ID`),
  CONSTRAINT `PARTITION_PARAMS_FK1` FOREIGN KEY (`PART_ID`) REFERENCES `PARTITIONS` (`PART_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

在这里插入图片描述

2.8 角色表—ROLES 表

  • 该表存储操作表的主角
  • 表结构
mysql> show create table ROLES ;
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                                                                                                                                |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ROLES | CREATE TABLE `ROLES` (
  `ROLE_ID` bigint(20) NOT NULL,
  `CREATE_TIME` int(11) NOT NULL,
  `OWNER_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `ROLE_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  PRIMARY KEY (`ROLE_ID`),
  UNIQUE KEY `ROLEENTITYINDEX` (`ROLE_NAME`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

2.9 其他

  • hive库中不止以上表，还有一些，不再展示

参考资料：

珞沫
关注
  • 7
    点赞
  • 踩
  • 53
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解Hive
weixin_51194902的博客
08-15 232
1. 数据库和数据仓库的区别 数据库： 真正存储和管理数据的，对数据有直接的处置权 关心的事情是 在线事务过程(OLTP) 数据仓库： 可以利用一个或多个数据库的数据，进行数据分析。 关心的事情是 在线分析过程(OLAP) 2. hive运行原理 写sql语句，hive内部自动转成MapReduce程序执行。 原数据在hdfs上，sql语句需要使用表。 表是以目录形式存在hdfs的某个指定位置(warehouse) 可以通过数据加载的形式，把hdfs或本地的原数据加载到表(目录)中 表里的数据实际上是存
Hive数据仓库之boss直聘平台薪资数据分析
08-14
Hive的主要组成部分包括元数据存储、HQL解析器、编译器、优化器以及执行器。元数据存储通常在MySQL或Derby中，用来记录表的结构、分区信息等。 在“boss直聘平台薪资数据分析”项目中，我们首先需要从boss直聘获取...
Hive元数据详解
sdfghjkkl123的博客
06-14 350
元数据（Metadata）是关于数据的数据。数据库的信息表的结构（表名、列名、数据类型等）表的分区信息数据文件的位置存储格式和序列化/反序列化信息元数据在Hive中的作用类似于关系型数据库中的系统表，用于管理和优化数据查询。
Hive元数据
zhouanyi的博客
06-11 1452
在Hive中，元数据是关于数据库、表、分区和其他Hive对象的信息，这些信息被存储在一个关系数据库中，通常是Derby或MySQL。Hive元数据对于管理和查询Hive数据非常重要，因为它提供了关于表结构、数据位置、分区信息等的详细信息。在生产环境中，为了高可用性和容错性，通常会使用支持高可用性和故障转移的元数据存储解决方案，如Apache Ambari、Cloudera Manager或Hive Metastore服务。外部表是基于外部数据创建的表，它的数据存储在Hive之外，通常是在HDFS上。
Hive 元数据
m0_73577749的博客
05-23 782
元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。在建表的时候，用户还需 要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。删除该表并不会删除掉这 份数据，不过描述表的元数据信息会被删除掉。在删除表的时候，内部表的元数据和数据会被一起删除，而外 部表只删除元数据，不删除数据。
Hive数据仓库
weixin_46579297的博客
06-15 5532
基本使用 sql语言show databases; 查看数据库 ; 不能省略优点：缺点：HIve架构设计特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接从上图可以看出，Hive的体系结构分为以下几部分:Hive 基础应用1。Hive基础概念1.hive 数据模型2。HiveSqlDDL建表说明1 元数据：描述数据的数据2.表分类：主要分内表和外表 1.内表：元数据和数据本身均被Hive管理。删除表则全部删除 2.外表：元数据被hive管理，数据本身
深入理解Hive：探索不同的表类型及其应用场景
大数据精读周刊
03-10 1605
在本文中，我们深入探讨了Hive数据仓库中的表类型，包括内部表、外部表、分区表、桶表、视图以及临时表。每种表类型都有其独特的特性和适用场景，它们共同构成了Hive强大的数据管理能力。内部表和外部表主要根据数据存储位置和生命周期管理来区分。内部表的数据与Hive的元数据紧密关联，而外部表则允许数据在Hive之外独立存在。分区表和桶表则专注于查询优化，通过数据的逻辑和物理分割来提高查询效率。视图提供了一种灵活的数据抽象方式，而临时表则用于处理会话级别的数据存储需求。
数据仓库工具Hive
weixin_41312759的博客
12-10 1383
同时，值得注意的是，如果不开启权限管理，那么所有的用户都将具有相同的权限，并且都是超级管理员，对所有的数据都有查看和改动的权限。具体来说，在Map端，可以通过设置以下参数来解决数据倾斜问题：set hive.merge.mapfiles=true（当maptask出现较多的小文件时，需要合并小文件），set hive.map.aggr=true（相当于Combiner，可以减小map端的压力），以及set hive.groupby.skewindata=true（有数据倾斜的时候进行负载均衡）。
数据仓库之Hive
youziguo的专栏
06-20 1611
Apache Hive是一个基于Hadoop的数据仓库软件，它提供了数据摘要、查询和分析的大数据能力。Hive通过类似于SQL的HiveQL语言，使用户能够在不深入了解MapReduce的情况下进行大数据处理和分析。
【Hive上篇： 一篇文章带你使用Hive！深入了解Hive！学会Hive！】
书生的技术分享
04-15 1134
什么是Hive？怎么使用Hive？怎么安装部署？HiveHive是基于Hadoop的一个数据仓库工具，用于进行数据提取、转换和加载（ETL）。它可以将结构化的数据文件映射为一张数据库表，并提供类似SQL的查询语言（HiveQL），使用户能够使用SQL语句来查询、汇总和整理大规模的数据集。Hive的核心功能包括数据存储、数据查询、数据处理、数据转换以及数据安全控制等。简单的定义就是：Hive是一个SQL转化转化工具，将SQL的计算转为MapReduce的计算，让开发人员更加方便进行大数据开发。
深入理解Hive:从基础到高阶：视频教学版
最新发布
weixin_43178406的博客
07-23 5247
本文主要介绍了深入理解Hive:从基础到高阶：视频教学版，希望能对同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 本书读者 3. 购买链接
Hive实战之视频网站的测试数据
08-02
Hive的元数据（如表结构、分区等）存储在MySQL或其它数据库中，用于管理和跟踪数据的位置。 在处理"chbVideoOut"这样的数据时，我们首先需要创建一个Hive表来定义数据结构。假设这个文件包含用户ID（userId），视频...
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
- Hive架构：包括客户端、元数据存储、Hive服务器、驱动器和执行器等部分。元数据存储通常在MySQL或Derby中，描述表和分区的结构和位置。 - 分区和桶：分区有助于减小查询的范围，提高查询效率；桶则用于实现数据...
hive 操作相关的测试数据集
11-28
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用SQL方言（称为HQL）来...通过分析和操作这个“hive操作相关的测试数据集”，用户可以深入了解Hive的实际应用，并提升在大数据环境下的数据处理技能。
Hive案例数据集.rar
10-27
- 元数据优化：优化元数据存储，加快查询解析速度。 - 配置调整：根据硬件环境和业务需求调整Hive的相关配置参数。 七、Hive与其他组件的集成 Hive可以无缝集成Hadoop生态系统中的其他组件，如HDFS、HBase、Spark等...
《Hive数据仓库案例教程》教学大纲.pdf
04-04
2. **Hive环境搭建**：这章介绍了Hive的安装、配置，包括MySQL的安装，Hive元数据的配置，以及如何使用HiveJDBC进行连接。实践环节让学生亲手操作Hive的部署，掌握配置过程。 3. **Hive基础**：本章涉及Hive的数据...
hive相关练习的数据data.rar
06-03
这些元数据使得Hive能够理解和解析用户的SQL查询，并将其转换为适合MapReduce或Tez等计算框架的任务。 在这个压缩包中，有两个主要的文件位于"gulivideo"子目录下，它们可能分别代表了YouTube视频信息和用户信息。...
hive数据仓库的建立.zip
08-31
此外，Hive还支持元数据管理，你可以使用Hive的Metastore服务来存储关于表和分区的信息，方便管理和共享。如果需要，还可以设置权限和角色，实现对数据仓库的访问控制。 实验部分通常会涵盖上述所有步骤，通过实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值