hive-metastore结构

最新推荐文章于 2024-07-10 08:30:00 发布
最新推荐文章于 2024-07-10 08:30:00 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： Hive 文章标签： hive metastore
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42015465/article/details/102950554
版权

Hive MetaStore数据库表结构图

在这里插入图片描述

整体概括

DBS

Columns: DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE
DBS 表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DATABASE_PARAMS、以及TBLS的外键。
　　一般来说，在hive meta初始化时都会自动创建一个名叫default的库，随后通过业务发展以及数据治理等需求，可进行不同业务域库的划分。

FUNC 表是用来存储udf的基本信息，一个UDF只能对应一个库下的表。FUNC_RU表，用于存储该udf的类型及指向的路径。

DB_PRIVS 表记录该DB下的权限记录信息，具体没怎么研究，因为现在更多的集成开源的类似于sentry、range等成熟的权限框架。

DATABASE_PARAMS 表记录DB的一些扩展信息，便于进行特殊属性的扩展。

TBLS 表自然是记录该DB下的所有Table信息。对应唯一的DB_ID。

TBLS

Columns: TBL_ID、CREATE_TIME、DB_ID,LAST_ACCESS_TIME、OWNER、RETENTION、SD_ID、TBL_NAME、TBL_TYPE、VIEW_EXPANDED_TEXT、VIEW_ORIGNAL_TEXT

首先，TBLS表，这个表主要记录了table的一些基本信息，包括表名、创建时间、类型，以及SD_ID等信息。tbl_id为TBLS的主键，同时也是TABLE_PARAMS、TBL_COL_PRIVS、IDXS、TBL_PRIVS、SDS、PARTITIONS、PARTITION_KEYS、TAB_COL_STATS表的外键。

每个TBLS都对应唯一的DB_ID,取决于你在哪个db下创建的表。在创建表写入meta的同时，也会创建相应的物理路径。同时会在SDS表中加入DDL时设置的input output、表的location以及SERDE信息（具体下面再说）

TBL_PRIVS、TBL_COL_PRIVS表记录该hive表的表及列权限认证信息。PARTITIONS表记录该表的DDL分区的信息,对于PARTITION_KEYS以及PARTITION_VALUES都是用于PartName的拼接获取。（可查看本博客 hive metadata源码解析）

(IDXS 与 TAB_COL_STATS还没有深入研究，后续添加）

PARTITIONS

Columns: PART_ID、CREATE_TIME、LAST_ACCESS_TIME、PART_NAME、SD_ID、TBL_ID

PARTITIONS表，通过表名也能才想到，它是partition分区存储的元数据信息。

PART_ID为PARTITIONS表的主键，同时也是PART_COL_STATS、PART_PRIVS、PARTITION_KEY_VALS、PARTITION_PARAMS、DATABASE_PARAMS表的外键。

Partition表在metastore中是相当重要的表，关系到partition的元数据存取（具体可参考本博客hive metastore partition篇）

SDS

Columns: SD_ID、CD_ID、INPUT_FORMAT、IS_COMPRESSED、IS_STOREDASSUBDIRECTORIES、LOCATION\NUM_BUCKETS、OUTPUT_FORMAT、SERDE_ID

SDS表主要包含计算引擎运行时需要的input与output 、location路径以及序列化的class信息。SD_ID为该表的主键，同时也是PARTITIONS、BUCKETING_COLS、SKEWD_COL_NAMES、SD_PARAMS、SORT_COLS、SKEWED_VALUES、IDXS的外键。

TBLS

记录数据表的信息

字段解释
TBL_ID在hive中创建表的时候自动生成的一个id，用来表示，主键
CREATE_TIME创建的数据表的时间，使用的是时间戳
DBS_ID这个表是在那个数据库里面
LAST_ACCESS_TIME最后一次访问的时间戳
OWNER数据表的所有者
RETENTION保留时间
SD_ID标记物理存储信息的id
TBL_NAME数据表的名称
TBL_TYPE数据表的类型,MANAGED_TABLE, EXTERNAL_TABLE, VIRTUAL_VIEW, INDEX_TABLE
VIEW_EXPANDED_TEXT展开视图文本，非视图为null
VIEW_ORIGINAL_TEXT原始视图文本，非视图为null

TBLS的SD_ID与SDS的SD_ID进行关联,TBLS的DB_ID与DBS的DB_ID进行关联,相关的thrift类为Table,StorageDescriptor。

//由于TBLS与DBS有关联，可以看到当前表是数据那个数据库。
//表的信息
mysql> select * from tbls where tbl_id=71 and db_id=1;
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
|     71 |  1548340018 |     1 |                0 | hadoop |         0 |    91 | emp      | MANAGED_TABLE | NULL               | NULL               |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
//数据库的信息
mysql> select * from dbs where db_id=1;
+-------+-----------------------+-------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                           | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://hadoop001:9000/user/hive/warehouse | default | public     | ROLE       |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+

Version

这个表是记录Hive的版本，这个表里面只能有一条记录，这样Hive才能启动。在创建源数据表的时候，自动写入的信息。相关的thrift类为version。
在初始化源数据表的时候，插入一条数据。

INSERT INTO VERSION (VER_ID, SCHEMA_VERSION, VERSION_COMMENT) VALUES (1, '1.1.0', 'Hive release version 1.1.0');
//获取到的结果为：
mysql> select * from version;
+--------+----------------+--------------------------------------+
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT                      |
+--------+----------------+--------------------------------------+
|      1 | 1.1.0          | Set by MetaStore hadoop@10.140.42.16 |
+--------+----------------+--------------------------------------+

DBS

记录数据库的信息

字段解释
DB_ID数据库的编号,默认的数据库编号为1,如果创建其他数据库的时候,这个字段会自增,主键
DESC对数据库进行一个简单的介绍
DB_LOCATION_URI数据库的存放位置，默认是存放在hdfs://ip:9000/user/hive/warehouse，如果是其他数据库，就在后面添加目录,默认位置可以通过参数hive.metastore.warehouse.dir来设置
NAME数据库的名称
OWNER_NAME数据库所有者名称
OWNER_TYPE数据库所有者的类型

DBS的DB_ID与DATABASE_PARAMS的DB_ID进行关联。
相关的thrift类为Database

#查看所有的数据库
mysql> select * from dbs;
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                      | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://hadoop001:9000/user/hive/warehouse            | default | public     | ROLE       |
|     2 | NULL                  | hdfs://hadoop001:9000/user/hive/warehouse/xiaoyao.db | xiaoyao | hadoop     | USER       |
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+

TABLE_PARAMS

字段解释
TBL_ID数据的编号
PARAM_KEY参数
PARAM_VALUE参数的值

TABLE_PARAMS的TBL_ID与TBLS的TBL_ID的进行关联,TBL_ID与PARAM_KEY作为联合主键。

每个表的信息基本上都有如下属性：

参数值
COLUMN_STATS_ACCURATE精确统计列
numFiles文件数
numRows行数
rawDataSize原始数据大小
totalSize当前大小
transient_lastDdlTime最近一次操作的时间戳
//对tbls中的数据表进行一个介绍:文件的数量、数据行数、数据总的大小等介绍
mysql> select * from table_params where tbl_id=71;
+--------+-----------------------+-------------+
| TBL_ID | PARAM_KEY             | PARAM_VALUE |
+--------+-----------------------+-------------+
|     71 | COLUMN_STATS_ACCURATE | true        |
|     71 | numFiles              | 1           |
|     71 | numRows               | 0           |
|     71 | rawDataSize           | 0           |
|     71 | totalSize             | 701         |
|     71 | transient_lastDdlTime | 1548340028  |
+--------+-----------------------+-------------+

SDS

此对象包含有关属于表的数据的物理存储的所有信息，数据表的存储描述

字段解释
SD_ID主键
CD_ID数据表编号
INPUT_FORMAT数据输入格式
IS_COMPRESSED是否对数据进行了压缩
IS_STOREDASSUBDIRECTORIES是否进行存储在子目录
LOCATION数据存放位置
NUM_BUCKETS分桶的数量
OUTPUT_FORMAT数据的输出格式
SERDE_ID序列和反序列的信息

SDS的SERDE_ID与SERDES的SERDE_ID进行关联，SDS的CD_ID与CDS的CD_ID进行关联。相关的thrift表为StorageDescriptor。

//数据的存储格式
mysql> select * from sds where sd_id=91;
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+
| SD_ID | CD_ID | INPUT_FORMAT                             | IS_COMPRESSED | IS_STOREDASSUBDIRECTORIES | LOCATION                                      | NUM_BUCKETS | OUTPUT_FORMAT                                              | SERDE_ID |
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+
|    91 |    71 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://hadoop001:9000/user/hive/warehouse/emp |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |       91 |
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+

CDS

记录数据表的编号

字段解释
CD_ID主键,记录数据表的编号

这个是一个自增的序列，就是一个标识。

SERDES

记录序列化和反序列化信息

字段解释
SERDE_ID主键,记录序列化的编号
NAME序列化和反序列化名称，默认为表名
SLIB使用的是哪种序列化方式

相关的thrift表为SerDeInfo

//使用何种序列化
mysql> select * from serdes where serde_id=91;
+----------+------+----------------------------------------------------+
| SERDE_ID | NAME | SLIB                                               |
+----------+------+----------------------------------------------------+
|       91 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
+----------+------+----------------------------------------------------+

SERDES_PARAMS

字段解释
SERDE_ID主键,记录序列化的编号
PARAM_KEY参数名称
PARAM_VALUE参数的值

SERDES_PARAMS的SERDE_ID与SERDES的SERDE_ID进行关联。

//序列化的方式
mysql> select * from serde_params where serde_id=91;
+----------+----------------------+-------------+
| SERDE_ID | PARAM_KEY            | PARAM_VALUE |
+----------+----------------------+-------------+
|       91 | field.delim          |                |
|       91 | serialization.format |                |
+----------+----------------------+-------------+

#DATABASE_PARAMS

字段解释
DB_ID数据库的编号
PARAM_KEY参数名称
PARAM_VALUE参数值

DB_ID是一个主键，使得DBS与DATABASE_PARAMS关联。

TAB_COL_STATS

数据表的列信息统计

字段解释
CS_ID列统计编号
AVG_COL_LEN数据的平均长度
MAX_COL_LEN数据的最大长度
COLUMN_NAME列的名字
COLUMN_TYPE列的类型
DB_NAME 数据库的名称
BIG_DECIMAL_HIGH_VALUE数据中最大的Decimal值
BIG_DECIMAL_LOW_VALUE数据中最小的Decimal值
DOUBLE_HIGH_VALUE数据中最大的Double值
DOUBLE_LOW_VALUE数据中最小的Double值
LAST_ANALYZED最新一次解析的时间戳
LONG_HIGH_VALUE数据中最大的Long值
LONG_LOW_VALUE数据中最小的Long值
NUM_DISTINCTS不同记录的数量
NUM_FALSES为false的数量
NUM_NULLS为null的数量
NUM_TRUES为true的数量
TBL_ID数据表的编号
TABLE_NAME数据表的名称

通过tbl_id使得TAB_COL_STATS与tbls关联。

相关的thrift类有：BooleanColumnStatsData、DoubleColumnStatsData、LongColumnStatsData、StringColumnStatsData、BinaryColumnStatsData、
Decimal、DecimalColumnStatsData、ColumnStatisticsData、ColumnStatisticsObj、ColumnStatisticsDesc、ColumnStatistics

Sort_COLS

记录要进行排序的列

字段解释
SD_ID数据表物理信息描述的编号
COLUMN_NAME列的名称
ORDER排序方式

COLUMNS_V2

用于描述列的信息

字段解释
CD_ID表的编号
COMMENT相关描述信息
COLUMN_NAME列的名称
TYPE_NAME类的类型

这个表与cds通过cd_id关联。

mysql> select * from columns_v2 where cd_id=71;
+-------+---------+-------------+-----------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|    71 | NULL    | common      | double    |           6 |
|    71 | NULL    | deptno      | int       |           7 |
|    71 | NULL    | empno       | int       |           0 |
|    71 | NULL    | ename       | string    |           1 |
|    71 | NULL    | hiredate    | string    |           4 |
|    71 | NULL    | job         | string    |           2 |
|    71 | NULL    | mgr         | int       |           3 |
|    71 | NULL    | sal         | double    |           5 |
+-------+---------+-------------+-----------+-------------+

FUNCS

记录hive中函数的信息

字段解释
FUNC_ID函数的编号
CLASS_NAME自定义函数的类的名称
CREATE_TIME函数创建时间
DB_ID作用于那个数据库
FUNC_NAME方法名称
FUNC_TYPE方法类型
OWNER_NAME所有者名称
OWNER_TYPE所有者类型

这个表里面记录一些hive自带的函数和用户自定义的函数。
相关的thrift类为Function。

FUNC_RU

对函数的相关参数进行描述。

字段解释
FUNC_ID函数的编号
RESOURCE_TYPE资源的类型
RESOURCE_URI资源的uri

相关的thrift类为：ResourceUri、ResourceType。

分区表

PARTITIONS

字段解释
PART_ID分区的编号
CREATE_TIME创建分区的时间
LAST_ACCESS_TIME最近一次访问时间
PART_NAME分区的名字
SD_ID存储描述的id
TBL_ID数据表的id

相关的thrift类为：Partition。

#记录要按照某个字段的值进行分区
mysql> select * from partitions;
+---------+-------------+------------------+-----------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME       | SD_ID | TBL_ID |
+---------+-------------+------------------+-----------------+-------+--------+
|      16 |  1543046086 |                0 | pt=xiaoyao      |    46 |     26 |
|      21 |  1543071202 |                0 | date=2016-05-05 |    56 |     32 |
+---------+-------------+------------------+-----------------+-------+--------+

PARTITION_PARAMS

字段解释
PART_ID分区的编号
PARAM_KEY参数
PARAM_VALUE参数的值
mysql> select * from partition_params where part_id=21;
+---------+-----------------------+-------------+
| PART_ID | PARAM_KEY             | PARAM_VALUE |
+---------+-----------------------+-------------+
|      21 | COLUMN_STATS_ACCURATE | true        |
|      21 | numFiles              | 1           |
|      21 | numRows               | 0           |
|      21 | rawDataSize           | 0           |
|      21 | totalSize             | 604236      |
|      21 | transient_lastDdlTime | 1543071202  |
+---------+-----------------------+-------------+

PARTITION_KEYS

字段解释
TBL_ID数据表的编号
PKEY_COMMENT分区字段的描述
PKEY_NAME分区字段的名称
PKEY_TYPE分区字段的类型

相关的thrift类为：FieldSchema。

//指定按照那个字段进行分区
mysql> select * from partition_keys;
+--------+--------------+-----------+-----------+-------------+
| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |
+--------+--------------+-----------+-----------+-------------+
|     26 | NULL         | pt        | string    |           0 |
|     32 | NULL         | date      | string    |           0 |
+--------+--------------+-----------+-----------+-------------+

PARTITION_KEY_VALS

字段解释
PART_ID分区编号
PART_KEY_VAL分区字段的值
//按照值分区之后，这是第几个分区
mysql> select * from partition_key_vals;
+---------+--------------+-------------+
| PART_ID | PART_KEY_VAL | INTEGER_IDX |
+---------+--------------+-------------+
|      16 | xiaoyao      |           0 |
|      21 | 2016-05-05   |           0 |
+---------+--------------+-------------+

查看表的信息

//可以使用命令查看表的所有信息，分区表亦如是。
hive (default)> desc formatted emp;
#表类的信息，对应的表为：COLUMNS_V2
# col_name              data_type               comment             
         
empno                   int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                string                                      
sal                     double                                      
common                  double                                      
deptno                  int                                         
         
# 数据表的详细信息 ，对应的数据表为：TBLS         
Database:               default                  
Owner:                  hadoop                   
CreateTime:             Thu Jan 24 22:26:58 CST 2019     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop001:9000/user/hive/warehouse/emp    
Table Type:             MANAGED_TABLE            
Table Parameters:        
    COLUMN_STATS_ACCURATE   true                
    numFiles                1                   
    numRows                 0                   
    rawDataSize             0                   
    totalSize               701                 
    transient_lastDdlTime   1548340028          
         
# 表的存储信息 对应的数据表为：TBLS        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             \t                  
    serialization.format    \t                  
Time taken: 0.253 seconds, Fetched: 39 row(s)

分区表信息

hive (xiaoyao)> desc formatted emp_test_p;
#列的信息
# col_name              data_type               comment             
         
empno                   int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                string                                      
sal                     double                                      
common                  double                                      
deptno                  int                                         
 
# 分区信息       
# col_name              data_type               comment             
         
pt                      string                                      
         
# 表信息        
Database:               xiaoyao                  
Owner:                  hadoop                   
CreateTime:             Sat Nov 24 15:50:25 CST 2018     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop001:9000/user/hive/warehouse/xiaoyao.db/emp_test_p  
Table Type:             MANAGED_TABLE            
Table Parameters:        
    transient_lastDdlTime   1543045825          
         
# 存储信息       
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             \t                  
    serialization.format    \t

删除表

  1. Hive中删除
    drop table emp;
  2. 在MetaStore删除数据表
drop procedure if exists t1;
create  procedure t1 ( in tbinput int) 
begin
    declare v_sd_id int ;
    declare v_part_id int ;
    declare v_cd_id int ;
    declare v_serde_id int ;
 
    select tbinput;
    select SD_ID into v_sd_id from tbls where TBL_ID = tbinput;
    select part_id  into v_part_id from partitions where tbl_id = tbinput;
    select cd_id , serde_id into v_cd_id,v_serde_id from sds where sd_id = v_sd_id;
    select v_sd_id,v_part_id,v_cd_id,v_serde_id;
 
    if v_part_id is not  null then 
        delete from partition_params where part_id = v_part_id;
        delete from partition_key_vals where part_id = v_part_id;
 
    end if;
    delete from serdes where serde_id = v_serde_id;
    delete from serde_params where serde_id = v_serde_id;
    delete from columns_v2 where cd_id = v_cd_id;
    delete from sds where sd_id = v_sd_id;
    delete from partitions where tbl_id = tbinput;
    delete from partition_keys where tbl_id = tbinput;
    delete from table_params where tbl_id = tbinput;
    delete from tbls where tbl_id = tbinput;
 
end ;

存放sql语句的位置：hive-1.1.0-cdh5.7.0/metastore/scripts/upgrade/mysql/hive-schema-1.1.0.mysql.sql
存放thrift相关文件的位置：hive-1.1.0-cdh5.7.0/metastore/if/hive_metastore.thrift
存放java相关文件的位置：hive-1.1.0-cdh5.7.0/metastore/src/gen/thrift/gen-javabean/org/apache/hadoop/hive/metastore/api

参考文档

https://crazymatrix.iteye.com/blog/2088338
http://www.icode9.com/content-2-120314.html
https://blog.csdn.net/Gavin_chun/article/details/78416037
https://blog.csdn.net/qq_32252917/article/details/78458115
https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&scene=21#wechat_redirect

花泽啸
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 元数据服务 MetaStore
SmartSi
04-26 7285
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
HIVE --- Metastore
04stone37
02-12 750
作用   存储数据库和表的元信息，比如结构定义、权限和统计信息等； Metastore is for storing schema(table definitions including location in HDFS, serde, columns, comments, types, partition definitions, views, access permissions, etc)...
hive-metastore
weixin_34235457的博客
10-11 62
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据平台之Hive Metastore
最新发布
youziguo的专栏
07-10 677
Hive Metastore 是 Apache Hive 的核心组件之一，用于存储关于 Hive 数据仓库中表和分区的所有元数据。元数据包括表的模式、位置、分区信息、列的数据类型等。Metastore 为 Hive 提供了表管理和查询优化所需的信息。
hive metastore
u012360211的博客
06-30 976
1. 概述通过hive metastore能访问hive的元数据，hive的元数据使用Data Nucleus持久化，因此mysql等数据库可以和hive结合，存储元数据。2. metastore的两种方式配置metastore服务端以及metastore数据库主要有内嵌、远程两种方式。2.1 内嵌方式hive使用derby作为内嵌的metastore数据库，主要用于测试，但是在同一时间，它只允许...
standalone-hive-metastore
04-01
独立的Hive Metastore 该项目可在本地运行Hive Metastore，或将其嵌入到容器中。 尽管是公开的，但该项目目前尚未记录，并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他
hive-exec-2.1.1.jar
03-14
Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive 提供了一种 SQL 接口来访问数据，这些数据通常存储在 Hadoop 的分布式文件系统...
apache-hive-3.1.2-bin.tar.gz
06-24
Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户通过SQL-like语法查询、管理大量结构化数据。在大数据处理领域，Hive 提供了一个灵活、可扩展的框架，使得数据分析人员能够对存储在Hadoop分布式文件系统...
hive驱动包hive-jdbc-uber-2.6.5.0-292.jar（用户客户端连接使用）
06-03
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许我们对存储在HDFS上的大数据进行结构化查询和分析。Hive JDBC驱动是Hive与各种数据库管理工具、应用程序之间建立连接的关键组件，使得用户可以通过标准的...
Hive metastore表结构设计分析
weixin_33742618的博客
02-19 957
　　今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。 　　那么我们从hive metastore的表结构设计开始： 　　   　　看到...
Hive Metastore 理解
weixin_44889391的博客
05-10 654
本地元存储和远程元存储都采用外部数据库来存储元数据。本地元存储和远程元存储的区别是：本地元存储不需要单独起 metastore 服务，用的是跟 Hive 在同一个进程里的 metastore 服务。Hive 的元数据，默认是存储在 derby 中的，但是我们一般会修改其存储在关系型数据库比如 MYSQL 中（其可以在 hive 配置中修改），在关系型数据库中会有一个 hive 库，存放相应的表。元数据是描述数据的数据，例如数据表的大小是 100KB, 数据表是数据，表大小是数据的数据。
Hive Metastore详解大全
热门推荐
一个数据小开发的博客
08-12 1万+
1、何为Hive MetaStore？
【大数据之Hive】六、Hive之metastore服务部署
阿宁的博客
06-05 2057
metastore为Hive CLI或Hiveserver2提供元数据访问接口。
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
hiliang521的博客
11-28 2709
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
hive metastore 基础表简绍
心灵空间
03-05 207
hive metastore主要涉及的基础表为：   表的关系为        
hive metastore 3.0介绍
从大数据到人工智能的博客
12-13 983
基本介绍 数据库、表、函数等 Hive 对象的定义存储在 Metastore 中。 根据系统的配置方式，统计数据和授权记录也可能存储在那里。 Hive 和其他执行引擎在运行时使用此数据来确定如何解析、授权和有效执行用户查询。 Metastore 通过 DataNucleus 将对象定义保存到关系数据库 (RDBMS)，DataNucleus 是一个基于 Java JDO 的对象关系映射 (ORM) 层。 有关可以使用的受支持 RDBMS 的列表，请参阅下面的受支持 RDBMS。 Metastore 可以配置
Hive Metastore表结构设计分析
我心中有猛虎 细嗅蔷薇
04-19 607
文章目录DatabaseTablePartitionsSDS 围绕hive的metastore的表结构进行分析: Database DBS表：column有DB_ID, DESC, DB_LOCATION_URI, NAME, OWNER_NAME, OWNER_TYPE 表示基本的DB信息，其中DB_ID是主键，关联的表有 FUNC_RU, FUNCS, DB_PRIVS, DATABASE_P...
06 - metastore服务、hive服务启动脚本以及相关使用技巧
花&败
05-02 2290
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
hive --service metastore卡主
03-16
当使用“hive --service metastore”命令时，可能会出现卡住的情况。这可能是由于以下原因之一引起的： 1. 元数据存储库中的表太多，导致查询元数据时需要很长时间。 2. 元数据存储库中的表太大，导致查询元数据时需要很长时间。 3. 元数据存储库中的表太复杂，导致查询元数据时需要很长时间。 为了解决这个问题，可以尝试以下方法： 1. 增加元数据存储库的容量，以便更快地查询元数据。 2. 优化元数据存储库中的表结构，以便更快地查询元数据。 3. 尝试使用其他工具来查询元数据，例如Apache Atlas。 4. 尝试使用其他版本的Hive，以便更好地支持元数据查询。 总之，要解决“hive --service metastore”卡住的问题，需要对元数据存储库进行优化和调整，以便更快地查询元数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值