Hive高级、Hive的元数据

最新推荐文章于 2024-08-06 15:55:06 发布
最新推荐文章于 2024-08-06 15:55:06 发布
阅读量1.2k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu918458630/article/details/108451792
版权

标题

1、Hive元数据表

在这里插入图片描述
我们配置文件里面写的没有就创建hive_sql 名字随便我这里是这个
在这里插入图片描述

  1. VERSION
  2. DBS、DATABASE_PARAMS
  3. TBLS、TABLE_PARAMS、TBL_PRIVS、COLUMNS_V2
  4. PARTITIONS、PARTITION_KEYS、 PARTITION_KEY_VALS、PARTITION_PARAMS
    hive的元数据存在于mysql中，在mysql中会有一个hive库，存放相应的表，一共35张表。

（1）存储Hive版本的元数据表

VERSION
该表比较简单，但很重要。
在这里插入图片描述
在这里插入图片描述

VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
11.1.0Set by MetaStore hadoop@192.168.1.14

如果该表出现问题，根本进入不了Hive-Cli。
比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

（2）Hive数据库相关的元数据表

1）DBS
该表存储Hive中所有数据库的基本信息，字段如下:

表字段说明示例数据
DB_ID数据库ID1
DESC数据库描述Default Hive
DB_LOCATION_URI数据HDFS路径hdfs://hadoop000:9000/user/hive/warehouse
NAME数据库名default
OWNER_NAME数据库所有者用户名public
OWNER_TYPE所有者角色ROLE

在这里插入图片描述

mysql> SELECT * FROM DBS\G;
*************************** 1. row *************************** 
          DB_ID: 1
           DESC: Default Hive database
DB_LOCATION_URI: hdfs://hadoop000:9000/user/hive/warehouse 
           NAME: default
     OWNER_NAME: public
     OWNER_TYPE: ROLE
     *************************** 2. row *************************** 
          DB_ID: 6
           DESC: NULL
DB_LOCATION_URI: hdfs://hadoop000:9000/user/hive/warehouse/test.db 
           NAME: test
     OWNER_NAME: hadoop
     OWNER_TYPE: USER
*************************** 3. row *************************** 
          DB_ID: 7
           DESC: NULL
DB_LOCATION_URI: hdfs://hadoop000:9000/user/hive/warehouse/test000.db 
           NAME: test000
     OWNER_NAME: hadoop
     OWNER_TYPE: USER
3 rows in set (0.00 sec)

2）DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。
t1表默认的创建 t2 加了注释 还有with后的属性信息 信息分别放在DBS; DATABASE_PARAMS; ( DB_ID进行关联)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

mysql> SELECT * FROM DATABASE_PARAMS; 
+-------+-----------+-------------+
| DB_ID | PARAM_KEY | PARAM_VALUE | 
+-------+-----------+-------------+
|     7 | creator   | hadoop      | 
+-------+-----------+-------------+
表字段说明示例数据
DB_ID数据库ID1
PARAM_KEY参数名createdby
PARAM_VALUE参数值root

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

（3）Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。
TBLS
该表中存储Hive表，视图，索引表的基本信息
在这里插入图片描述

mysql> select * from TBLS\G;
*************************** 1. row *************************** 
            TBL_ID: 1
       CREATE_TIME: 1598946409
             DB_ID: 1
  LAST_ACCESS_TIME: 0
             OWNER: hadoop
         RETENTION: 0
             SD_ID: 1
          TBL_NAME: job
          TBL_TYPE: MANAGED_TABLE
VIEW_EXPANDED_TEXT: NULL
VIEW_ORIGINAL_TEXT: NULL
22 rows in set (0.00 sec)
表字段说明示例数据
TBL_ID表ID21
CREATE_TIME创建时间1447675704
DB_ID数据库ID1
LAST_ACCESS_TIME上次访问时间1447675704
OWNER所有者root
RETENTION保留字段0
SD_ID序列化配置信息41，对应SDS表中的SD_ID
TBL_NAME表名ex_detail_ufdr_30streaming
TBL_TYPE表类型EXTERNAL_TABLE
VIEW_EXPANDED_TEXT视图的详细HQL语句
VIEW_ORIGINAL_TEXT视图的原始HQL语句

2）TABLE_PARAMS（扩展 附加属性在这里展示）
该表存储表/视图的属性信息
在这里插入图片描述

mysql> select * from TABLE_PARAMS; 
+--------+-----------------------+-------------+ 
| TBL_ID | PARAM_KEY             | PARAM_VALUE | 
+--------+-----------------------+-------------+ |      
1 | COLUMN_STATS_ACCURATE | true        | |      
1 | numFiles              | 1           | |      
1 | numRows               | 0           | |      
1 | rawDataSize           | 0           | |      
1 | totalSize             | 36          | |      
1 | transient_lastDdlTime | 1598946557  | |      
2 | COLUMN_STATS_ACCURATE | true        | |      
2 | numFiles              | 1           | |      
2 | numRows               | 3           | |      
2 | rawDataSize           | 33          | |      
2 | totalSize             | 65          | |      
2 | transient_lastDdlTime | 1598946800  | 
+--------+-----------------------+-------------+
表字段说明示例数据
TBL_ID表ID21
PARAM_KEY属性名totalSize，numRows，EXTERNAL
PARAM_VALUE属性值970107336、21231028、TRUE

3）TBL_PRIVS
该表存储表/视图的授权信息，一般不用Hive的权限，而使用sentry来进行权限控制。

表字段说明示例数据
TBL_GRANT_ID授权ID1
CREATE_TIME授权时间1436320455
GRANT_OPTION0
GRANTOR授权执行用户root
GRANTOR_TYPE授权者类型USER
PRINCIPAL_NAME被授权用户username
PRINCIPAL_TYPE被授权用户类型USER
TBL_PRIV权限Select、Alter
TBL_ID表ID21，对应TBLS表的TBL_ID

（4）Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS，由于HDFS支持的文件格式很多，而建Hive 表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种 格式去读写HDFS文件，而这些信息就保存在这几张表中。
1）SDS
该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的 SD_ID与该表关联，可以获取Hive表的存储信息。

表字段说明示例数据
SD_ID存储信息ID41
CD_ID字段信息ID21，对应CDS表
INPUT_FORMAT文件输入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否压缩0
IS_STOREDASSUBDIRECTORIES是否以子目录存储0
LOCATIONHDFS路径hdfs://193.168.1.75:9000/detail_ufdr_streaming_test
NUM_BUCKETS分桶数量0
OUTPUT_FORMAT文件输出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化类ID41，对应SERDES表

在这里插入图片描述

mysql> select * from SDS\G;
*************************** 1. row *************************** 
                    SD_ID: 1
                    CD_ID: 1
             INPUT_FORMAT: org.apache.hadoop.mapred.TextInputFormat 
            IS_COMPRESSED:
IS_STOREDASSUBDIRECTORIES:
                 LOCATION: hdfs://hadoop000:9000/user/hive/warehouse/job 
              NUM_BUCKETS: -1
            OUTPUT_FORMAT: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat 
                 SERDE_ID: 1
 22 rows in set (0.00 sec)

2）SD_PARAMS
该表存储Hive存储的属性信息，在创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

表字段说明示例数据
SD_ID存储配置ID41
PARAM_KEY存储属性名
PARAM_VALUE存储属性值

3）SERDES
该表存储序列化使用的类信息

表字段说明示例数据
SERDE_ID序列化类配置ID41
NAME序列化类别名NULL
SLIB序列化类org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

在这里插入图片描述

mysql> SELECT * FROM SERDES; 
+----------+------+-------------------------------------------------------------
+
| SERDE_ID | NAME | SLIB
|
+----------+------+-------------------------------------------------------------
+
|        1 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|        2 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|        6 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|        7 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|        8 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       11 | NULL | org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
|
|       12 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde
|
|       14 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde
|
|       16 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
|
|       17 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
|
|       18 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       19 | NULL | org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
|
|       21 | NULL | org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
|
|       22 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       23 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       25 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       27 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       28 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
|       29 | NULL | org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
|
|       30 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde
|
|       31 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
|
|       32 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
|
+----------+------+-------------------------------------------------------------
+

4）SERDE_PARAMS
该表存储序列化的一些属性、格式信息，比如:行、列分隔符

表字段说明示例数据
SERDE_ID序列化类配置ID41
PARAM_KEY属性名field.delim
PARAM_VALUE属性值

在这里插入图片描述

mysql> SELECT * FROM SERDE_PARAMS; 
+----------+----------------------+-------------+
| SERDE_ID | PARAM_KEY            | PARAM_VALUE | 
+----------+----------------------+-------------+
|        1 | field.delim          |                | 
|        1 | serialization.format |                |
|        2 | serialization.format | 1              | 
|        6 | serialization.format | 1              | 
|        7 | serialization.format | 1              | 
|        8 | field.delim          |                | 
|        8 | serialization.format |                | 
|       11 | field.delim          |                | 
|       11 | serialization.format |                | 
|       12 | field.delim          |                | 
|       12 | serialization.format |                | 
|       14 | field.delim          |                | 
|       14 | serialization.format |                | 
|       16 | field.delim          |                |
 |      16 | serialization.format |                | 
 |      17 | field.delim          |                | 
 |      17 | serialization.format |                |
  |     18 | serialization.format | 1              | 
  |     19 | serialization.format | 1              | 
  |     21 | field.delim          |                | 
  |     21 | serialization.format |                | 
  |     22 | field.delim          |                | 
  |     22 | serialization.format |                | 
  |     23 | field.delim          |                | 
  |     23 | serialization.format |                | 
  |     25 | field.delim          |                | 
  |     25 | serialization.format |                | 
  |     27 | serialization.format | 1              | 
  |     28 | field.delim          |                | 
  |     28 | serialization.format |                | 
  |     29 | field.delim          |                | 
  |     29 | serialization.format |                | 
  |     30 | field.delim          |                | 
  |     30 | serialization.format |                | 
  |     31 | field.delim          |                | 
  |     31 | serialization.format |                | 
  |     32 | field.delim          |                | 
  |     32 | serialization.format |                |
   +----------+----------------------+-------------+

（5）Hive表字段相关的元数据表

主要涉及COLUMNS_V2
COLUMNS_V2
该表存储表对应的字段信息

表字段说明示例数据
CD_ID字段信息ID21
COMMENT字段注释NULL
COLUMN_NAME字段名air_port_duration
TYPE_NAME字段类型bigint
INTEGER_IDX字段顺序119

在这里插入图片描述

mysql> SELECT * FROM COLUMNS_V2; 
+-------+---------+-------------+-----------+-------------+ 
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
 +-------+---------+-------------+-----------+-------------+ |
      1 | NULL    | id          | int       |           0 | 
|     1 | NULL    | name        | string    |           1 | 
|     2 | NULL    | id          | int       |           0 | 
|     2 | NULL    | name        | string    |           1 | 
|     6 | NULL    | id          | int       |           0 | 
|     6 | NULL    | name        | string    |           1 | 
|     7 | NULL    | id          | int       |           0 | 
|     7 | NULL    | name        | string    |           1 | 
|     8 | NULL    | id          | int       |           0 | 
|     8 | NULL    | name        | string    |           1 | 
|    32 | NULL    | countrycode | string    |           2 | 
|    32 | NULL    | district    | string    |           3 | 
|    32 | NULL    | id          | string    |           0 | 
|    32 | NULL    | name        | string    |           1 | 
|    32 | NULL    | population  | string    |           4 | 
+-------+---------+-------------+-----------+-------------+

（6）Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
1）PARTITIONS
该表存储表分区的基本信息

表字段说明示例数据
PART_ID 分区ID 21
CREATE_TIME分区创建时间1450861405
LAST_ACCESS_TIME最后一次访问时间0
PART_NAME分区名hour=15/last_msisdn=0
SD_ID分区存储ID43
TBL_ID表ID22
LINK_TARGET_IDNULL

在这里插入图片描述

mysql> SELECT * FROM PARTITIONS; 
+---------+-------------+------------------+----------------------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME                 | SD_ID | TBL_ID | 
+---------+-------------+------------------+----------------------------+-------+--------
|       1 |  1599283268 |                0 | event_month=2015-11       |    37 |     36 |
|       2 |  1599283402 |                0 | event_month=2015-11/step=1|    39 |     37 |
|       3 |  1599283407 |                0 | event_month=2015-11/step=2|    40 |     37 | 
+---------+-------------+------------------+----------------------------+-------+--------
2）PARTITION_KEYS

该表存储分区的字段信息

表字段说明示例数据
TBL_ID表ID22
PKEY_COMMENT分区字段说明NULL
PKEY_NAME分区字段名hour
PKEY_TYPE分区字段类型int
INTEGER_IDX分区字段顺序0

在这里插入图片描述

mysql> SELECT * FROM PARTITION_KEYS; 
+--------+--------------+-------------+-----------+-------------+ 
| TBL_ID | PKEY_COMMENT | PKEY_NAME   | PKEY_TYPE | INTEGER_IDX 
| +--------+--------------+-------------+-----------+-------------+ 
|     36 | NULL         | event_month | string    |           0 | 
|     37 | NULL         | event_month | string    |           0 | 
|     37 | NULL         | step        | string    |           1 |
 +--------+--------------+-------------+-----------+-------------+
3）PARTITION_KEY_VALS

该表存储分区字段值

表字段说明示例数据
PART_ID分区ID21
PART_KEY_VAL分区字段值0
INTEGER_IDX分区字段值顺序1

在这里插入图片描述

mysql> SELECT * FROM PARTITION_KEY_VALS; 
+---------+--------------+-------------+ 
| PART_ID | PART_KEY_VAL | INTEGER_IDX 
| +---------+--------------+-------------+ 
|       1 | 2015-11      |           0 | 
|       2 | 2015-11      |           0 | 
|       2 | 1            |           1 | 
|       3 | 2015-11      |           0 | 
|       3 | 2            |           1 |
 +---------+--------------+-------------+
4）PARTITION_PARAMS

该表存储分区的属性信息

表字段说明示例数据
PART_ID分区ID21
PARAM_KEY分区属性名numFiles，numRows
PARAM_VALUE分区属性值1，502195

在这里插入图片描述

mysql> SELECT * FROM PARTITION_PARAMS; 
+---------+-----------------------+-------------+ 
| PART_ID | PARAM_KEY             | PARAM_VALUE | 
+---------+-----------------------+-------------+ 
|       1 | COLUMN_STATS_ACCURATE | true        | 
|       1 | numFiles              | 1           | 
|       1 | numRows               | 0           | 
|       1 | rawDataSize           | 0           | 
|       1 | totalSize             | 423         | 
|       1 | transient_lastDdlTime | 1599283269  | 
|       2 | COLUMN_STATS_ACCURATE | true        | 
|       2 | numFiles              | 1           | 
|       2 | numRows               | 0           | 
|       2 | rawDataSize           | 0           | 
|       2 | totalSize             | 423         | 
|       2 | transient_lastDdlTime | 1599283402  | 
|       3 | COLUMN_STATS_ACCURATE | true        | 
|       3 | numFiles              | 1           | 
|       3 | numRows               | 0           | 
|       3 | rawDataSize           | 0           | 
|       3 | totalSize             | 423         | 
|       3 | transient_lastDdlTime | 1599283408  | 
+---------+-----------------------+-------------+

（7）Hive函数相关的元数据表

1）FUNCS
用户注册的函数信息
在这里插入图片描述

mysql> SELECT * FROM FUNCS\G;
*************************** 1. row *************************** 
    FUNC_ID: 1
 CLASS_NAME: com.kgc.hadoop.HelloUDF
CREATE_TIME: 1599201059
      DB_ID: 1
  FUNC_NAME: sayhello2
  FUNC_TYPE: 1
 OWNER_NAME: NULL
 OWNER_TYPE: USER
1 row in set (0.00 sec)

2）FUNC_RU
用户注册函数的资源信息
在这里插入图片描述

mysql> SELECT * FROM FUNC_RU\G;
*************************** 1. row *************************** 
      FUNC_ID: 1
RESOURCE_TYPE: 1
 RESOURCE_URI: hdfs://hadoop000:9000/lib/hive-1.0-SNAPSHOT.jar 
  INTEGER_IDX: 0
1 row in set (0.00 sec)

（8）其他不常用的元数据表

名称说明
1）DB_PRIVS数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。
2）IDXS索引表，存储Hive索引相关的元数据
3）INDEX_PARAMS索引相关的属性信息
4）TBL_COL_STATS表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
5）TBL_COL_PRIVS表字段的授权信息
6）PART_PRIVS分区的授权信息
7）PART_COL_PRIVS分区字段的权限信息
8）PART_COL_STATS分区字段的统计信息
2、Hive中Join的用法

hive 当中可以通过 join 和 union 两种方式合并表，其中 join 偏向于横向拼接（增加列的数量）， union 则主要负责纵向拼接（增加行的数量）。

（1）join六种用法

hive 中 join 主要分为六种，分别是：
（inner） join
out join：
。left (outer) join
。right (outer) join
。full (outer) join
。cross join
。left semi join

（2）join语法格式
官网参考链接：
join_table:
    table_reference [INNER] JOIN table_factor [join_condition]
  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
  | table_reference LEFT SEMI JOIN table_reference join_condition
  | table_reference CROSS JOIN table_reference [join_condition] (as of Hive 0.10)

table_reference: 
    table_factor 
  | join_table

table_factor: 
    tbl_name [alias]
  | table_subquery alias 
  | ( table_references )

join_condition: 
    ON expression

切记，使用 join 时不能忘记关键字 on。如果结尾未写 on，则都相当于进行 cross join，笛卡儿积关联 （左表一万条数据，右表一万条数据，笛卡儿积之后就是一亿条数据，可怕吧~）。
另外，建议join 中将大表写在靠右的位置，hive 处理速度也会快一些。

（3）基本join使用

基础数据

create database hive_join;
use hive_join;

create table a(
id int,name string
)row format delimited fields terminated by '\t';

create table b( id int,age int)row format delimited fields terminated by '\t';

load data local inpath '/home/hadoop/data/join_a.txt' overwrite into table a; load data local inpath '/home/hadoop/data/join_b.txt' overwrite into table b;

hive> select * from a;
OK
1       zhangsan
2       lisi
3       wangwu
Time taken: 0.526 seconds, Fetched: 3 row(s) hive> select * from b;
OK
1       28
2       30
4       25
Time taken: 0.08 seconds, Fetched: 3 row(s)

在这里插入图片描述
1）（inner）join
内连接，返回两张表都有的数据。
在这里插入图片描述

select a.id,a.name,b.age from a inner join b on a.id=b.id;
hive> select a.id,a.name,b.age from a inner join b on a.id=b.id; OK
1       zhangsan        28
2       lisi    30

2）left outer join
左连接，以前面的表为主表，返回的数据行数跟主表相同，关联不上的字段为NULL。
在这里插入图片描述
在这里插入图片描述

select a.id,a.name,b.age from a left join b on a.id=b.id;
hive> select a.id,a.name,b.age from a left join b on a.id=b.id; OK
1       zhangsan        28
2       lisi    30
3       wangwu  NULL

3）right outer join
右连接，以后面的表为主表，返回的记录数和主表一致，关联不上的字段为NULL。
在这里插入图片描述

select a.id,a.name,b.age from a right join b on a.id=b.id;

hive> select a.id,a.name,b.age from a right join b on a.id=b.id; OK
1       zhangsan        28
2       lisi    30
NULL    NULL    25

4）full outer join
全连接，返回两个表的并集，空缺的字段为NULL。
在这里插入图片描述

select a.id,a.name,b.age from a full join b on a.id=b.id;

hive> select a.id,a.name,b.age from a full join b on a.id=b.id; OK
1       zhangsan        28
2       lisi    30
3       wangwu  NULL
NULL    NULL    25

5）cross join
返回两个表的笛卡尔积结果（数目为左表乘右表），不需要指定关联键。
在这里插入图片描述
在这里插入图片描述

select a.id,a.name,b.age from a cross join b;

hive> select a.id,a.name,b.age from a cross join b; OK
1       zhangsan        28
1       zhangsan        30
1       zhangsan        25
2       lisi    28
2       lisi    30
2       lisi    25
3       wangwu  28
3       wangwu  30
3       wangwu  25

6）left semi join
并不拼接两张表，两个表对 on 的条件字段做交集，返回前面表的记录，相较于其他的方法，这样子 hive 处理速度比较快。
在这里插入图片描述
在这里插入图片描述

select a.id,a.name from a left semi join b on a.id=b.id;

hive> select a.id,a.name from a left semi join b on a.id=b.id; OK
1       zhangsan
2       lisi
问题一箩筐
关注
Hive数据仓库全流程开发
11-28
- **元数据存储**：默认情况下，元数据被存储在一个嵌入式的Derby数据库中；在生产环境中，通常会将其迁移到MySQL等更为可靠的数据库中以提高性能和稳定性。 - **驱动器**：包括解释器、编译器、优化器和执行器等...
Hive的元数据存储与元数据表
H_hello_world的博客
03-30 7148
一、元数据(metadata) 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。 元数据包含用Hive创建的database、table等的元信
Hive 元数据表结构详解
weixin_34294649的博客
08-15 522
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
hive元数据表详解
最新发布
sunxunyong的博客
08-06 503
SDS-------------------------#输入输出format等信息，包括表的format和分区的format。关联字段CD_ID,SERDE_ID。通过PART_ID关联。ROLES-----------------------#角色表，和GLOBAL_PRIVS配合，与表无关。CDS-------------------------#字段信息，一个字段CD_ID，与SDS表关联。TBLS------------------------#表基本信息，关联字段DB_ID,SD_ID。
Hive之深入了解元数据
weixin_45666566的博客
01-07 7269
元数据引言1、Hive 元数据2、Hive 元数据表2.1 Hive 库2.2 VERSION 表2.3 Hive数据库相关的元数据表2.3.1 DBS—数据库表2.3.2 DATABASE_PARAMS表—数据库参数表2.4 Hive数据表相关的元数据表2.4.1 TBLS表—数据表的元数据表2.4.2 TABLE_PARAMS表—数据表属性信息表2.4.3 TBL_PRIVS—授权表2.5 Hive文件存储信息相关的元数据表2.5.1 SDS表2.5.2 SD_PARAMS表2.5.3 SERDES表
hive什么是元数据？
weixin_44943389的博客
07-02 998
元数据通常存储在持久的存储系统中，如关系型数据库（如MySQL、PostgreSQL）或Hive的自定义元数据存储（如Derby）。存储格式（Storage Format）：Hive支持不同的存储格式，例如文本格式（Text）、序列文件格式（SequenceFile）、列式存储格式（ORC）等。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。
HIve：元数据表结构
weixin_44591209的博客
04-08 198
Hive中的元数据信息默认是存储在derby中的，但是derby是单session的，一般都会修改成mysql。 在mysql中的metastore库中存放着hive所有元数据信息的表（如下图）。本文将分别介绍他们各自的用途。 VERSION表 存储Hive版本的元数据表，如果该表出现问题，根本进入不了Hive-Cli，会报错”Table ‘hive.version’ doesn’t e...
Hive：元数据的三种部署方式
程序员无羡的博客
07-19 1738
Hive：元数据的三种部署方式
Hive 搭建（将 MySQL 作为元数据库）
JIE的博客 --- moon_coder
10-25 9426
安装 Hive 之前请先确保你当前已经安装好了 Hadoop，并且运行正常。
Hive高级编程
06-05
### Hive高级编程知识点详解 #### 一、Hive概述与组件 Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能，使得 Hadoop 上的数据可以被传统的 BI 工具...
hive测试题(包含万级测试数据文件)
02-19
"ratings.txt"可能包含用户对电影的评分，"movies.txt"可能存储电影的元数据，如电影名称、类型、年份等，"users.txt"可能包含用户的基本信息。这些文本文件是典型的CSV格式，适合导入到Hive表中进行分析。 使用...
数据仓库工具 hive的入门（八）元数据管理与存储
weixin_43904810的博客
06-06 922
**Hive命令实战操作之元数据管理与存储 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令 第 1 节 Metastore Metadata即元数据。元数据包含用Hive
Hive基础
m0_57356943的博客
07-05 960
Hive 数据仓库 数据仓库是存数据的，企业的各种数据往里存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：数据仓库是面向分析的存储系统 主要特征：是面向主题的、集成的、非易失的和时变的数据集合，用于支持管理决策。 数据库与数据仓库的区别： 数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生的，它绝不是所谓的 “大型数据库”。 1 Hive介绍 传入一条交互式的SQL在海量的数据中查询
hive的元数据
Jackie 的博客
04-21 2397
 简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会...
hive中的元数据管理
qq_42456324的博客
06-06 1310
1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息，字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数：3、Hive表和视图相关的元数据表主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联
数据仓库及应用——元数据概念与表的结构
Suniiny的博客
05-21 240
元数据是描述真实数据的数据包括Hive表的数据库名、表名、字段名与类型等Hive元数据存储在RDBMS中，有三种存储模式单用户模式，使用内置Derby数据库多用户模式，使用本地MySQL数据库远程服务模式，使用远程元数据服务访问数据库元数据存储在Derby数据库，是默认的存储方式单用户存储模式优缺点优点：Derby小巧易用，安装方便缺点在同一数据库目录下只能有一个Hive客户端使用无法实现元数据共享单用户存储模式适合在测试环境中使用。
Hive元数据表结构详解
热门推荐
06-14 1万+
概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 Hive元数据表结构 hive-...
Hive Metastore表结构设计分析
我心中有猛虎 细嗅蔷薇
04-19 614
文章目录DatabaseTablePartitionsSDS 围绕hive的metastore的表结构进行分析: Database DBS表：column有DB_ID, DESC, DB_LOCATION_URI, NAME, OWNER_NAME, OWNER_TYPE 表示基本的DB信息，其中DB_ID是主键，关联的表有 FUNC_RU, FUNCS, DB_PRIVS, DATABASE_P...
hive元数据库
qq_45755385的博客
02-20 413
【代码】hive元数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值