Hive元数据的概念及存储方式
概念:
元数据可以看作是描述数据的数据,包括Hive表的数据库名、表名、字段名称与类型、分区字段与类型等。
存储方式:
Hive将元数据存储在RDBMS中,有以下三种模式可以连续到数据库。
1. 单用户模式(Single User Mode):使用内置Derby数据库,也称内嵌Derby模式。
2. 多用户模式(Multi User Mode):使用本地MySQL数据库,也称本地模式。
3. 远程服务模式(Remote User Mode):使用远程元数据服务访问数据库。也称远程模式。
元数据信息查询
主要元数据表:
1. VERSION
2. 数据库元数据
(1)DBS
(2)DATABASE_PARAMS
3. 表元数据
(1)TBLS
(2)TABLE_PARAMS
(3)TBL_PRIVS
4. 表数据存储元数据
(1)SDS
(2)SD_PARAMS
(3)SERDES
(4)SERDE_PARAMS
5. 表分区元数据
(1)PARTITIONS
(2)PARTITION_KEYS
(3)PARTITION_KEY_VALS
(4)PARTITION_PARAMS
6. 表字段元数据:COLUMNS_V2
不常用的元数据表:
最后,本篇文章是基于我所学所知进行的知识总结,如有误论,虚心接受指正。参考文献是《Hadoop数据仓库实战》,感兴趣的小伙伴可以对其进行深入阅读。