hive的元数据

最新推荐文章于 2024-05-31 08:47:07 发布
最新推荐文章于 2024-05-31 08:47:07 发布
阅读量2.2k 收藏 3
点赞数 1
分类专栏： Hadoop # HIVE 文章标签： 数据库 hive 大数据
原文链接：https://www.cnblogs.com/xuziyu/p/10755936.html
版权
Hadoop 同时被 2 个专栏收录
10 篇文章 1 订阅
订阅专栏
HIVE
8 篇文章 0 订阅
订阅专栏

 简介：

hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会修改会mysql

那么该如何启用mysql来管理元数据呢？

复制代码 
 1 <configuration>
 2  <property>
 3   <name>javax.jdo.option.ConnectionURL</name>
 4   <value>jdbc:mysql://hadoop001:3306/ruoze_d6?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
 5  </property>
 6 <property>
 7       <name>javax.jdo.option.ConnectionDriverName</name>
 8         <value>com.mysql.jdbc.Driver</value>
 9  </property>
10 <property>
11   <name>javax.jdo.option.ConnectionUserName</name>
12     <value>root</value>
13     </property>
14 <property>
15   <name>javax.jdo.option.ConnectionPassword</name>
16     <value>123456</value>
17     </property>
18 </configuration>
复制代码 
以上的配置就会启用MYSQL管理元数据
第4行的配置是配置了mysql里的数据库名字叫ruoze_d6,第11行和第16行式配置了MySQL的登录用户名和密码，并且ruoze_d6这个库不需要在mysql中特别建立

mysql> use ruoze_d6;
Database changed
mysql>

 

复制代码 
 1 mysql> show tables;
 2 +---------------------------+
 3 | Tables_in_ruoze_d6        |
 4 +---------------------------+
 5 | bucketing_cols            |
 6 | cds                       |
 7 | columns_v2                |
 8 | database_params           |
 9 | dbs                       |
10 | func_ru                   |
11 | funcs                     |
12 | global_privs              |
13 | groupinfor                |
14 | idxs                      |
15 | index_params              |
16 | makedata_job              |
17 | part_col_privs            |
18 | part_col_stats            |
19 | part_privs                |
20 | partition_key_vals        |
21 | partition_keys            |
22 | partition_params          |
23 | partitions                |
24 | roles                     |
25 | sd_params                 |
26 | sds                       |
27 | sequence_table            |
28 | serde_params              |
29 | serdes                    |
30 | skewed_col_names          |
31 | skewed_col_value_loc_map  |
32 | skewed_string_list        |
33 | skewed_string_list_values |
34 | skewed_values             |
35 | sort_cols                 |
36 | tab_col_stats             |
37 | table_params              |
38 | tbl_col_privs             |
39 | tbl_privs                 |
40 | tbls                      |
41 | version                   |
42 |                   |
43 +---------------------------+
44 37 rows in set (0.00 sec)
复制代码

这里一共有37张表， 我们捡主次分析一下

  • version（存储Hive版本的元数据表）

复制代码 
mysql> select * from version  ;
+--------+----------------+----------------------------------------+
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT                        |
+--------+----------------+----------------------------------------+
|     11 | 1.1.0          | Set by MetaStore hadoop@172.16.202.233 |
+--------+----------------+----------------------------------------+
1 row in set (0.00 sec)
复制代码
  • 说明：
  1. 第一列是ID主键；第二列是hive的版本，第三列是版本说明，并且这张表里只有一条数据，且只能有一条数据，如果这张表被删除，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。
  2. 但是前提示关闭某个参数，如果那个参数开着，那么你如果删除了这张表或者说清空这张表，他都会自动建立，那个参数我忘记是啥了，回头想起来会来补上

 

  • DBS（hive数据库相关的元数据表）

复制代码 
mysql> select * from DBS \G;
*************************** 1. row ***************************
          DB_ID: 1
           DESC: Default Hive database
DB_LOCATION_URI: hdfs://hadoop001:9000/user/hive/warehouse
           NAME: default
     OWNER_NAME: public
     OWNER_TYPE: ROLE
*************************** 2. row ***************************
          DB_ID: 6
           DESC: NULL
DB_LOCATION_URI: hdfs://hadoop001:9000/user/hive/warehouse/hadoop_g6.db
           NAME: hadoop_g6
     OWNER_NAME: hadoop
     OWNER_TYPE: USER
*************************** 3. row ***************************
          DB_ID: 11
           DESC: NULL
DB_LOCATION_URI: hdfs://hadoop001:9000/user/hive/warehouse/ruoze_d6.db
           NAME: ruoze_d6
     OWNER_NAME: hadoop
     OWNER_TYPE: USER
3 rows in set (0.00 sec)
复制代码
  • 说明：该表存储Hive中所有数据库的基本信息
列名解释
DB_ID
 
数据库ID
DESC
 
数据库描述
DB_LOCATION_URI
 
数据库HDFS路径
NAME
 
数据库名
 OWNER_NAME
 
数据库所有者用户名
OWNER_TYPE
 
所有者角色

 

  • database_params（hive数据库相关的元数据表）

复制代码 
mysql> desc database_params;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| DB_ID       | bigint(20)    | NO   | PRI | NULL    |       |
| PARAM_KEY   | varchar(180)  | NO   | PRI | NULL    |       |
| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |
+-------------+---------------+------+-----+---------+-------+
复制代码
  • 说明：该表存储数据库的相关参数，在CREATE DATABASE时候用 WITH DBPROPERTIES (property_name=property_value, …)指定的参数
字段说明示例
DB_ID
数据库ID11
PARAM_KEY
参数名createby
PARAM_VALUE
参数值root

 

 

  •  TBLS（Hive表和视图相关的元数据表）

复制代码 
mysql> select * from TBLS \G;
*************************** 1. row ***************************
            TBL_ID: 37
       CREATE_TIME: 1555494334
             DB_ID: 1
  LAST_ACCESS_TIME: 0
             OWNER: hadoop
         RETENTION: 0
             SD_ID: 37
          TBL_NAME: makedata_job
          TBL_TYPE: MANAGED_TABLE
VIEW_EXPANDED_TEXT: NULL
VIEW_ORIGINAL_TEXT: NULL
复制代码
  • 说明：该表中存储Hive表、视图、索引表的基本信息。
TBL_ID
表ID
 CREATE_TIME
创建时间
 DB_ID
数据库ID
LAST_ACCESS_TIME
上次访问时间
OWNER
所有者
RETENTION
保留字段
 SD_ID
序列化配置信息（对应SDS表中的SD_ID）
TBL_NAME
表名
TBL_TYPE
表类型
VIEW_EXPANDED_TEXT
视图详细的HQL语句
VIEW_ORIGINAL_TEXT
视图原始的HQL语句
  

 

 

  • table_params（Hive表和视图相关的元数据表）

复制代码 
mysql> select * from table_params;
+--------+-----------------------+-------------+
| TBL_ID | PARAM_KEY             | PARAM_VALUE |
+--------+-----------------------+-------------+
|     37 | COLUMN_STATS_ACCURATE | true        |
|     37 | numFiles              | 5           |
|     37 | numRows               | 0           |
|     37 | rawDataSize           | 0           |
|     37 | totalSize             | 2921282     |
|     37 | transient_lastDdlTime | 1555551458  |
|     42 | EXTERNAL              | TRUE        |
|     42 | transient_lastDdlTime | 1555555620  |
|     46 | COLUMN_STATS_ACCURATE | true        |
|     46 | numFiles              | 1           |
|     46 | numRows               | 500000      |
|     46 | rawDataSize           | 72051224    |
|     46 | totalSize             | 30284817    |
|     46 | transient_lastDdlTime | 1555557177  |
|     51 | EXTERNAL              | TRUE        |
|     51 | transient_lastDdlTime | 1555772013  |
|     52 | COLUMN_STATS_ACCURATE | true        |
|     52 | numFiles              | 1           |
|     52 | numRows               | 500000      |
|     52 | rawDataSize           | 67551224    |
|     52 | totalSize             | 75265591    |
|     52 | transient_lastDdlTime | 1555772485  |
|     56 | COLUMN_STATS_ACCURATE | true        |
|     56 | numFiles              | 1           |
|     56 | numRows               | 500000      |
|     56 | rawDataSize           | 64051224    |
|     56 | totalSize             | 64641768    |
|     56 | transient_lastDdlTime | 1555773864  |
|     66 | COLUMN_STATS_ACCURATE | true        |
|     66 | numFiles              | 1           |
|     66 | numRows               | 500000      |
|     66 | rawDataSize           | 359000000   |
|     66 | totalSize             | 17782969    |
|     66 | transient_lastDdlTime | 1555775575  |
|     67 | COLUMN_STATS_ACCURATE | true        |
|     67 | numFiles              | 1           |
|     67 | numRows               | 500000      |
|     67 | orc.compress          | NONE        |
|     67 | rawDataSize           | 359000000   |
|     67 | totalSize             | 53967047    |
|     67 | transient_lastDdlTime | 1555775880  |
|     68 | COLUMN_STATS_ACCURATE | true        |
|     68 | numFiles              | 1           |
|     68 | numRows               | 500000      |
|     68 | rawDataSize           | 4000000     |
|     68 | totalSize             | 61117546    |
|     68 | transient_lastDdlTime | 1555776185  |
|     69 | COLUMN_STATS_ACCURATE | true        |
|     69 | numFiles              | 1           |
|     69 | numRows               | 500000      |
|     69 | rawDataSize           | 4000000     |
|     69 | totalSize             | 16854027    |
|     69 | transient_lastDdlTime | 1555776356  |
|     71 | COLUMN_STATS_ACCURATE | true        |
|     71 | numFiles              | 1           |
|     71 | numRows               | 1           |
|     71 | rawDataSize           | 0           |
|     71 | totalSize             | 1           |
|     71 | transient_lastDdlTime | 1555809751  |
|     76 | transient_lastDdlTime | 1555836141  |
|     77 | COLUMN_STATS_ACCURATE | true        |
|     77 | numFiles              | 1           |
|     77 | numRows               | 0           |
|     77 | rawDataSize           | 0           |
|     77 | totalSize             | 366         |
|     77 | transient_lastDdlTime | 1555837173  |
+--------+-----------------------+-------------+
复制代码
  • 说明：该表存储表/视图的属性信息。
字段dec
TBL_ID
表ID（对应TBLS中的TBL_ID）
PARAM_KEY
属性名
PARAM_VALUES
属性值

 

  •  TBL_PRIVS 该表存储表/视图的授权信息（不做详细说明）

复制代码 
mysql> desc TBL_PRIVS;
+----------------+--------------+------+-----+---------+-------+
| Field          | Type         | Null | Key | Default | Extra |
+----------------+--------------+------+-----+---------+-------+
| TBL_GRANT_ID   | bigint(20)   | NO   | PRI | NULL    |       |
| CREATE_TIME    | int(11)      | NO   |     | NULL    |       |
| GRANT_OPTION   | smallint(6)  | NO   |     | NULL    |       |
| GRANTOR        | varchar(128) | YES  |     | NULL    |       |
| GRANTOR_TYPE   | varchar(128) | YES  |     | NULL    |       |
| PRINCIPAL_NAME | varchar(128) | YES  |     | NULL    |       |
| PRINCIPAL_TYPE | varchar(128) | YES  |     | NULL    |       |
| TBL_PRIV       | varchar(128) | YES  |     | NULL    |       |
| TBL_ID         | bigint(20)   | YES  | MUL | NULL    |       |
+----------------+--------------+------+-----+---------+-------+
9 rows in set (0.01 sec)
TBL_ID对应TBLS中的TBL_ID
复制代码

  • sds（Hive文件存储信息相关的元数据表）

复制代码 
mysql> desc sds;
+---------------------------+---------------+------+-----+---------+-------+
| Field                     | Type          | Null | Key | Default | Extra |
+---------------------------+---------------+------+-----+---------+-------+
| SD_ID                     | bigint(20)    | NO   | PRI | NULL    |       |
| CD_ID                     | bigint(20)    | YES  | MUL | NULL    |       |
| INPUT_FORMAT              | varchar(4000) | YES  |     | NULL    |       |
| IS_COMPRESSED             | bit(1)        | NO   |     | NULL    |       |
| IS_STOREDASSUBDIRECTORIES | bit(1)        | NO   |     | NULL    |       |
| LOCATION                  | varchar(4000) | YES  |     | NULL    |       |
| NUM_BUCKETS               | int(11)       | NO   |     | NULL    |       |
| OUTPUT_FORMAT             | varchar(4000) | YES  |     | NULL    |       |
| SERDE_ID                  | bigint(20)    | YES  | MUL | NULL    |       |
+---------------------------+---------------+------+-----+---------+-------+
复制代码

 

  • 说明：文件存储的基本信息：
SD_ID
 
CD_ID
字段信息ID
INPUT_FORMAT
文件输入格式
IS_COMPRESSED
是否压缩
IS_STOREDASSUBDIRECTORIES
是否以子目录存储
LOCATION
HDFS路径
 NUM_BUCKETS
分桶数量
 OUTPUT_FORMAT
文件输出格式
SERDE_ID
序列化类ID
字段说明

 

  • SD_PARAMS（Hive文件存储信息相关的元数据表）

复制代码 
mysql> desc SD_PARAMS;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| SD_ID       | bigint(20)    | NO   | PRI | NULL    |       |
| PARAM_KEY   | varchar(256)  | NO   | PRI | NULL    |       |
| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |
+-------------+---------------+------+-----+---------+-------+
3 rows in set (0.00 sec)
复制代码
  • 说明：该表存储Hive存储的属性信息，在创建表时候使用 

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

  • serdes（Hive文件存储信息相关的元数据表）

复制代码 
mysql> select * from serdes; 
+----------+------+-------------------------------------------------------------+
| SERDE_ID | NAME | SLIB                                                        |
+----------+------+-------------------------------------------------------------+
|       37 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       42 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       43 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       46 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       51 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       52 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       56 | NULL | org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe        |
|       66 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde                   |
|       67 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde                   |
|       68 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe |
|       69 | NULL | org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe |
|       71 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       76 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
|       77 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          |
+----------+------+-------------------------------------------------------------+
14 rows in set (0.00 sec)
复制代码
  • 说明：该表存储序列化使用的类信息
字段字段说明
SERDE_ID
序列化类配置ID（对应SDS的SERDE_ID ）

NAME
序列化类别名 
SLIB
序列化类

  • serde_params（Hive文件存储信息相关的元数据表）

复制代码 
mysql> select * from serde_params; 
+----------+----------------------+-------------+
| SERDE_ID | PARAM_KEY            | PARAM_VALUE |
+----------+----------------------+-------------+
|       37 | field.delim          |                |
|       37 | serialization.format |                |
|       42 | field.delim          |                |
|       42 | serialization.format |                |
|       43 | field.delim          |                |
|       43 | serialization.format |                |
|       46 | serialization.format | 1           |
|       51 | field.delim          |                |
|       51 | serialization.format |                |
|       52 | serialization.format | 1           |
|       56 | serialization.format | 1           |
|       66 | serialization.format | 1           |
|       67 | serialization.format | 1           |
|       68 | serialization.format | 1           |
|       69 | serialization.format | 1           |
|       71 | serialization.format | 1           |
|       76 | field.delim          |                |
|       76 | serialization.format |                |
|       77 | field.delim          |                |
|       77 | serialization.format |                |
+----------+----------------------+-------------+
20 rows in set (0.00 sec)
复制代码
  • 说明：该表存储序列化的一些属性、格式信息,比如：行、列分隔符
字段字段说明
SERDE_ID
序列化类配置ID（对应SDS的SERDE_ID ）
PARAM_KEY
属性名
PARAM_VALUE
属性值

 

  • columns_v2Hive表字段相关的元数据表

复制代码 
mysql> select * from columns_v2; 
+-------+---------+-------------+--------------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME    | INTEGER_IDX |
+-------+---------+-------------+--------------+-------------+
|    37 | NULL    | ip          | varchar(20)  |           4 |
|    37 | NULL    | levelnm     | varchar(6)   |           2 |
|    37 | NULL    | region      | varchar(6)   |           1 |
|    37 | NULL    | time_random | varchar(20)  |           3 |
|    37 | NULL    | traffic     | varchar(12)  |           7 |
|    37 | NULL    | urlid       | varchar(100) |           6 |
|    37 | NULL    | urlnm       | varchar(6)   |           0 |
|    37 | NULL    | urlym       | varchar(20)  |           5 |
|    42 | NULL    | cdn         | string       |           0 |
|    42 | NULL    | domain      | string       |           5 |
|    42 | NULL    | ip          | string       |           4 |
|    42 | NULL    | level       | string       |           2 |
|    42 | NULL    | region      | string       |           1 |
|    42 | NULL    | time        | string       |           3 |
|    42 | NULL    | traffic     | bigint       |           7 |
|    42 | NULL    | url         | string       |           6 |
+-------+---------+-------------+--------------+-------------+
17 rows in set (0.00 sec)
复制代码
  • 说明：表的字段信息
字段字段说明
CD_ID
字段信息ID（对应表SDS的CD_ID）
COMMENT
字段注释
COLUMN_NAME
字段名
TYPE_NAME
字段类型
INTEGER_IDX
字段顺序

 

 

 

  • partitions（Hive表分区相关的元数据表）

复制代码 
mysql> select * from partitions ; 
+---------+-------------+------------------+--------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME    | SD_ID | TBL_ID |
+---------+-------------+------------------+--------------+-------+--------+
|      21 |  1555555926 |                0 | day=20190418 |    43 |     42 |
+---------+-------------+------------------+--------------+-------+--------+
1 row in set (0.00 sec)
复制代码
  • 说明：分区的基本信息
 字段字段说明 
PART_ID
 分区ID
CREATE_TIME
 分区创建时间
LAST_ACCESS_TIME
 最后一次访问时间
PART_NAME
 分区名称
  
SD_ID
 分区存储ID
  
TBL_ID
 表ID

 

 

  • partition_keys（Hive表分区相关的元数据表）

复制代码 
mysql> select * from partition_keys; 
+--------+--------------+-----------+-----------+-------------+
| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |
+--------+--------------+-----------+-----------+-------------+
|     42 | NULL         | day       | string    |           0 |
+--------+--------------+-----------+-----------+-------------+
1 row in set (0.00 sec)
复制代码
  • 说明：分区的字段信息
字段名称字段说明
TBL_ID
表ID
PKEY_COMMENT
分区字段说明
PKEY_NAME
分区字段名称
PKEY_TYPE
分区字段类型
INTEGER_IDX
分区字段顺序

 

 

  • partition_key_vals（Hive表分区相关的元数据表）

复制代码 
mysql> select * from partition_key_vals; 
+---------+--------------+-------------+
| PART_ID | PART_KEY_VAL | INTEGER_IDX |
+---------+--------------+-------------+
|      21 | 20190418     |           0 |
+---------+--------------+-------------+
1 row in set (0.00 sec)
复制代码
  • 说明：该表存储分区字段值
字段字段说明
PART_ID
分区ID
PART_KEY_VAL
分区字段值
INTEGER_IDX
分区字段值顺序

 

  • partition_params（Hive表分区相关的元数据表）

复制代码 
mysql> select * from partition_params; 
+---------+-----------------------+-------------+
| PART_ID | PARAM_KEY             | PARAM_VALUE |
+---------+-----------------------+-------------+
|      21 | COLUMN_STATS_ACCURATE | true        |
|      21 | numFiles              | 1           |
|      21 | totalSize             | 29975501    |
|      21 | transient_lastDdlTime | 1555556171  |
+---------+-----------------------+-------------+
4 rows in set (0.00 sec)
复制代码
  • 说明：该表存储分区的属性信息.
字段字段说明
PART_ID
分区ID
PARAM_KEY
分区属性名
PARAM_VALUE
分区属性值

 

 

 

  • 其他不常用的元数据表


此图转载于https://mp.weixin.qq.com/s/c2C4SYaj-GUP6hTkPNV_hQ

参考博客：https://mp.weixin.qq.com/s/c2C4SYaj-GUP6hTkPNV_hQ

小砖工
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hive】Hive MetaStore 3.1.x 元数据管理库表结构介绍及特色功能
m0_54252387的博客
07-20 3169
本文以hive metastore 3.1.1000中的库表结构进行分析Hive Metastore（HMS）是一项单独的服务，不是Hive的一部分，甚至不必位于同一集群上。 hive metastore 用于管理hive的元数据并提供服务。这里的元数据包括：数据库、表、表的模式、目录、分区、索引以及命名空间等。 为数据库创建的目录一般在hive数据仓库目录下。Hive metastore Service （HMS) 将Hive表、分区等的元数据存储在关系数据库中，并通过metastore服务API提供给客
Hive数据存储解析
baidu_41848695的博客
07-26 278
1. Hive元数据信息表 Hive元数据信息表详解 TBLS表： SDS表：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。 COLUMNS_V2表：该表存储表对应的字段信息 Hive表select查询先将存在hdfs中的文件内容都读取出来，再根据设定的表字段分隔符对每行数据进行分列，最后再根据COLUMNS_V2中记录的INTEGER_IDX和COLUMN_NAME对select出
hive元数据
最新发布
Geonaut的博客
05-31 557
元数据在Hive中起着关键的作用，它使得Hive能够理解和操作存储在底层存储系统中的数据。以下是一些常见的元数据信息：1数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。2表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。3列（Column）：表中每个列都有相关的元数据，包括列名称、数据类型、注释等。
Hive基础
m0_57356943的博客
07-05 930
Hive 数据仓库 数据仓库是存数据的，企业的各种数据往里存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：数据仓库是面向分析的存储系统 主要特征：是面向主题的、集成的、非易失的和时变的数据集合，用于支持管理决策。 数据库与数据仓库的区别： 数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生的，它绝不是所谓的 “大型数据库”。 1 Hive介绍 传入一条交互式的SQL在海量的数据中查询
Hive配置项的含义详解
aaa1117a8w5s6d的专栏
11-22 1万+
关于MetaStore：metastore是个独立的关系数据库，用来持久化schema和系统元数据。 hive.metastore.local：控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm，默认是true，Hive0.10已经取消了该配置项； javax.jdo.option.ConnectionURL：JDBC连接字符串，默认jdbc:derby:;dat
Hive元数据表释义及表关系
Nice的博客
04-30 3227
hive版本的元数据表 version 字段 含义 值 VER_ID id主键 1 SCHEMA_VERSION hive 版本 1.1.0-cdh5.16.2 SCHEMA_VERSION_V2 hive 版本 NULL VERSION_COMMENT 版本说明 Set by MetaStore hadoop@192.168.52.50 mysql> sel...
hive元数据生成建表语句
01-26
本资源“hive元数据生成建表语句”主要关注如何从已有的Hive元数据中自动生成创建表的SQL语句，以便于理解和重现现有数据表的结构。 首先，理解Hive元数据： 1. **数据库**：Hive支持多数据库的概念，每个数据库...
Hive元数据库操作
05-21
Hive 元数据库操作是 Hive 运维中常用的操作之一，它提供了对元数据的管理和查询功能。在 Hive 中，元数据是指对数据的描述信息，如表名、表路径、分区信息、列信息等。下面将对 Hive 元数据库操作的常用 SQL 语句...
关于hive元数据的错误
01-07
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/92f8b98...
hive元数据导入sql生成工具
06-22
Hive元数据导入SQL生成工具是针对CDH4.7.0版本设计的一款实用软件，主要用于帮助用户方便地管理和操作Hive中的元数据。Hive是一个分布式数据仓库系统，它允许用户使用类SQL语言（HQL）来处理存储在Hadoop集群上的大...
导出hive元数据，迁移数据使用
01-25
执行命令： java -cp hive-distcp-1.0-SNAPSHOT-shaded_sc.jar com.apex.distcp.HiveTable --config [库名] > test.sql
【Hive】Hive元数据信息表详解
m0_54252387的博客
07-06 1930
1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。3、Hive表和视图相关的元数据表主要有TBLS、TAB
The table is full问题解决过程
Donald_Draper的专栏
05-06 8231
ianghu/blog/162960[/url] 今天在执行一个数据插入操作时，程序抛出 Cause: java.sql.SQLException: The table 'tb_logs' is full异常，看了一下相关文章，说是MySQL临时空间和堆空间的时间，就尝试可不可以删除一些数据，truncate table tb_logs，抛出table doesn‘t exist，执行任何命令没有反应，于是就根据相关文章中的提示修改配置 [code="java"]tmp_t
Hive体系结构
热门推荐
Jack Zhou的专栏
04-29 2万+
本文整理自阿里数据平台的官方博客：http://www.alidata.org/archives/category/cloud-computing/hive     1、Hive架构与基本组成     下面是Hive的架构图。 图1.1 Hive体系结构     Hive的体系结构可以分为以下几部分：     （1）用户接口主要有三个：CLI，Client 和 WUI。其中最
hive 自定义元数据表_hive元数据表结构-阿里云开发者社区
weixin_39866265的博客
12-21 204
在debug hive的问题的时候，经常需要分析hive元数据的表结构。这里简单地说下常用的几个表的结构：dbs 存储了database的一些信息，id,描述，hdfs中的路径和名称。tbls 存储了table的一些信息，id，表名等。。其中常用的两个字段是SD_ID和TBL_TYPE，SD_ID后面再说。TBL_TYPE字段 定义了表是外部表(EXTERNAL_TABLE)还是托管表(MANAG...
Hive的元数据表结构详解（转自lxw1234）
wangshuxing的专栏
03-15 383
本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。 文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎么生成和存储的。 13.1 存储Hive版本的元数据表（VERSION） 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0...
Hive系列之SerDe
kw-home
11-03 1万+
SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。 序列化作用 序列化是对象转换为字节序列的过程。 反序列化是字节序列恢复为对象的过程。 对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中；对象数据的网络传送。 除了上面两点， hive的序列化的作用还包括：Hive的反序列化是对key/value反序列化成hive table的每个
hive中SerDe使用
xubc的大数据笔记
05-07 2537
SerDe is a short name for “Serializer and Deserializer.”Hive uses SerDe (and !FileFormat) to read and write table rows.HDFS files –&gt; InputFileFormat –&gt; &lt;key, value&gt; –&gt; Deserializer –&gt...
hive 元数据信息修改
mnasd的博客
08-23 2835
ALTER TABLE ddw_app_gindex.dau_type10 add columns(pkg string,dau int); UPDATE TBLS T1,DBS T2,SDS T3,PARTITIONS T4,SDS T5 SET T5.CD_ID = T3.CD_ID WHERE T2.NAME = 'dw_app_gindex' AND T1.TBL_NAME = ...
hive元数据使用场景
01-17
Hive元数据使用场景包括以下几个方面： 1. 表的创建和管理：Hive元数据可以用于创建和管理表。通过Hive元数据，可以定义表的结构、分区、存储格式等信息，并且可以对表进行增删改查的操作。 2. 数据的导入和导出：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值