hive相关的元数据表

最新推荐文章于 2024-06-18 17:35:15 发布
最新推荐文章于 2024-06-18 17:35:15 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victor_ww/article/details/39477783
版权
本文主要探讨了Hive 0.13版本的元数据表，包括其结构、内容及在数据处理中的作用。
摘要由CSDN通过智能技术生成

使用的版本：0.13

hive元数据表整理
表名 注释 关联键
bucketing_cols    
cds 保存所有元数据表的唯一标识  
columns_v2 表对应的字段信息(注释、字段名、类型、长度)  
database_params    
dbs hive的数据库信息(描述、数据库的默认目录空间、名称、用户名、用户类型)  
func_ru    
funcs    
global_privs    
idxs 索引信息  
index_params 索引的修改时间  
part_col_privs    
part_col_stats    
part_privs    
partition_key_vals
最低0.47元/天 解锁文章
jsjw18
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hive】Hive元数据信息表详解
m0_54252387的博客
07-06 1934
1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。3、Hive表和视图相关的元数据表主要有TBLS、TAB
HIVE元数据表/数据字典
weixin_30699463的博客
02-01 535
HIVE元数据表/数据字典 0人收藏此文章,我要收藏 表名 说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) COLUMNS Hive表字段信息(字段注释，字段名，字段类型，字段序号) DBS ...
hive-常用元数据表结构
samz5906的专栏
06-15 447
常用元数据表 在使用Hive进行开发时，往往需要获得己存在 Hive表的建表语句 （ Data D efinition L anguage, DDL) ，然而Hive本身并没有提供这样一个工具 。 要想还原建表 DDL 就必须从 元数据入手 。 Hive 的元数据并不存放在 HDFS 上 ，一般存放在MySQL、 Derby中 表名 说明 TBLS 所有Hive表的基本信息 TABLE_PARAM 表级属性，如是否外部表、表注释等 COLUMNS Hive 表字段信息（字段注释 ，
hive元数据全面优化详解
最新发布
sunxunyong的博客
06-18 306
2、如果有使用impala 的元数据自动更新操作，可以通过调整impala自动更新元数据的周期减少对NOTIFICATION_LOG表的查询频率来达到调优的目的，代价是impala元数据更新周期会变长。如果Hive中不需要启用CBO进行查询优化，1、TAB_COL_STATS、PART_COL_STATS：在每个Hive表、分区表都有写入数据的情况下，通常来说这个表的数据量约为库。2、TBL_COL_PRIVS、TBL_PRIVS：记录了每张表、每列每个权限信息，从而允许用户直接通过SQL来查询权限信息。
Hive元数据表信息
guoliduo的博客
04-24 302
Hive的元数据库表一般是存在数据库中的,以MySQL为例: Hive元数据表,各表名和表意义,作用为空的表示这个表是空数据,说明Hive的一些功能我还没有用到,所以元数据的表是空的。 Hive元数据表 表名 作用 BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联 CDS 一个字段CD_ID，与SDS表关联 COLUMNS_...
Hive元数据信息对应的MySQL数据表
大数据进阶之路
09-05 2536
Hive元数据信息对应的MySQL数据表 Hive的元数据一般选择放在关系型数据库中，自带的数据库是Derby，我将Hive的元数据信息存放在MySQL数据库中，对应的hive数据库中，共57张表。 1. Hive版本信息 元数据表VERSION中存储的是Hive的元数据版本，如果该表出现问题，根本进入不了Hive-Cli。 VERSION表结构： 元数据表字段 说明 示例数据 VER_ID ID(主键) 1 SCHEMA_VERSION Hive-Schema版本 2.3.0
hive元数据表结构
weixin_34167043的博客
01-22 128
在debug hive的问题的时候，经常需要分析hive元数据的表结构。这里简单地说下常用的几个表的结构：dbs 存储了database的一些信息，id,描述，hdfs中的路径和名称。tbls 存储了table的一些信息，id，表名等。。其中常用的两个字段是SD_ID和TBL_TYPE，SD_ID后面再说。TBL_TYPE字段 定义了表是外部表（EXTERNAL_TABLE）...
Hive元数据信息表详解
菜鸟叔叔的博客
04-06 6300
hive元数据表的基本情况
hive中的元数据表信息以及表关系
潇洒人生的博客
04-19 2807
hive 表信息以及表之间的关联关系 字段 描述 VER_ID 主键 SCHEMA_VERSION 版本 VERSION_COMMENT 说明 DBS hive 数据库 字段 描述 DB_ID 库id DESC 库描述 DB_LOCATION_URI hdfs上的路径 NAME 数据库名称 OWNER_NAME 所有着用户名 ...
hive元数据信息管理总结
qq_32667911的博客
06-08 992
hive元数据表 关系总览 关键表总览 表名称及其业务 BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联 CDS 表示该分区、表存储的字段信息。一个字段CD_ID，与SDS表关联 COLUMNS_V2 表示该分区、表存储的字段信息。存储字段信息，通过CD_ID与其他表关联 DATABASE_PARAMS 描述数据库的属性信息 DBS 存储hive的database信息 DB_PRIVS 描述数据库的权限信息 FUNCS 记录用户子集编写的函数信息，包括函数名、对应类名、
元数据管理-hive表Statistics信息获取
songjifei的专栏
03-06 4762
1概述 表的基础信息维护展示是数据仓库元数据管理的主要内容之一，对于hive来说如表名，表注释，内外表类型，列的字段名、字段类型、字段备注、是否是分区字段，存储文件类型，压缩格式等信息，这些都是在建表时就可以获取的。还有一些和表中数据存储相关的信息，比如行数，文件数，压缩前后存储大小等信息是随着ETL数据变化而变化的，我们希望在ETL结束后能够获取这些最新信息到我们元数据管理系统中。庆幸的是hi...
cdh的hive配置文件位置_基于CDH5.x的Hive权限配置
weixin_39849894的博客
12-22 326
1、打开权限控制，默认是没有限制的set hive.security.authorization.enabled=true;2、配置默认权限hive.security.authorization.createtable.owner.grants = ALLhive.security.authorization.createtable.role.grants = admin_role:ALLhive...
Hive基础学习
august5291的博客
11-02 500
本节我们主要来学习一些hive的命令操作，同时探究一下Hive，HDFS，MySQL之间的联系，从而更好的理解其内部原理。 常用的基础命令 #此处的命令都是指在hive命令行下执行的命令，所有的命令别忘记以分号结尾。 hive> show databases;#查看当前数据库列表 hive> create databases dbname;#创建一个名称为dbname的数据库 hive> use databasename;#将当前的数据库切换为databasename hive&gt
Hive 元数据表结构详解
热门推荐
豪猪的博客
06-15 1万+
原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&scene=21#wechat_redirect 元数据是基础，这篇文章值得一读。 本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、
Hive bucket桶
lavimer
01-29 4933
对于每一个表(table)或者分区，Hive可以进一步组织成桶。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除于桶的个数求余的方式决定该条记录存放在哪个桶当中。采用桶能够带来一些好处，比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大减少JOIN的数据量。 Hive中table可以拆分成
hive udf使用及踩坑
weixin_42529806的博客
12-25 2230
hive注册udf函数 1 maven项目pow文件 <properties> <hive.version>2.1.1-cdh6.1.0</hive.version> </properties> <dependencies> <dependency> <groupId>org.apache.hive</groupId&.
Hive元数据存储和表数据存储
hyj
03-19 1万+
一、相关概念 1、元数据(metadata) 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所...
hive元数据相关表结构
qq_34382453的博客
11-22 315
概述  hive是一个构建在hadoop hdfs之上的一个数据仓库。它能够对大量数据进行读写与管理。hive元数据默认是存在Derby数据库上，但是Derby是一个单session，每次只允许一个客户端连接，所以并不适用于生产。一般大家都把hive元数据存在mysql之上，不仅满足多用户连接，也可以将mysql搭建一主一备的集群，防止单点故障。 hive-site.xml配置  下图是将hive...
Impala实践之二：Hive元数据
木东居士
08-08 6649
0x00 前言深入学习Impala的最主要一个原因就是目前在使用Impala的时候遇到了各种了性能问题，之前定位过一次问题，猜测其性能损耗的一个主要原因在INVALIDATE METADATA和-r参数上，但是对此并不是十分理解，因此需要深入一点底理解这些概念，方面更准确地定位问题。下面将从三个角度来分析Impala元数据：Hive元数据库、INVALIDATE METADATA语句和REFRESH
mysql中查看 hive分区元数据表
06-11
在 MySQL 中查看 Hive 分区元数据表的信息，可以通过连接 Hive 的 metastore 数据库来实现。metastore 数据库是 Hive 的元数据存储数据库，其中包含了 Hive 中所有的表、分区、列等元数据信息。可以通过以下步骤连接 metastore 数据库： 1. 在 Hive 的配置文件中找到 `hive-site.xml` 文件，查看其中的 `javax.jdo.option.ConnectionURL` 属性，该属性的值即为 metastore 数据库的连接地址。 2. 使用 MySQL 客户端工具（如 MySQL Workbench）连接 metastore 数据库，使用 Hive 的用户名和密码进行验证。 3. 执行以下 SQL 命令，查询指定表的分区信息： ```sql SELECT * FROM PARTITIONS WHERE TBL_ID = (SELECT TBL_ID FROM TBLS WHERE TBL_NAME = 'table_name'); ``` 其中，`table_name` 是你要查询的 Hive 分区表的表名。该命令会返回该表的所有分区信息，包括分区名称、分区值和存储路径等信息。 注意：使用 metastore 数据库查询元数据信息可能会对 Hive 的正常运行产生影响，因此建议谨慎使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值