hive location更新&hive元数据表详解

最新推荐文章于 2024-01-27 22:57:21 发布
最新推荐文章于 2024-01-27 22:57:21 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： hive 文章标签： spark 大数据
本文为博主原创文章，未经博主允许不得转载。如果对你有帮助，请记得点赞支持，谢谢！
本文链接：https://blog.csdn.net/ZYC88888/article/details/132807590
版权

1.hive location更新方式

一、通过修改表DDL：

alter table table_name set location 'hdfs://nm:8020/table_path'

二、直接修改hive 的meta info:

update `DBS` set `DB_LOCATION_URI` = replace(DB_LOCATION_URI,"oldpath","newpath")
 
update SDS  set location =replace(location,'oldpath,'newpath')

2. hive命令操作方式

hive分为内部表和外部表，两种表修改路径方式不一样。

内部表

设置新的路径

alter table tb_table1 set location 'hdfs://cluster/hive/warehouse/test.db/tb_table2

移动表的文件

hdfs dfs -mv /hive/warehouse/test.db/tb_table1 /hive/warehouse/test.db/tb_table2

外部表
因为外部表删除表并不会删除文件，所以可以先删除表

drop table table1;

移动文件到新位置

hdfs dfs -mv /hive/warehouse/test.db/tb_table1 /hive/warehouse/test.db/tb_table2

新建新表, 并且指定路径为新地址

create external table table2 (....) location '/hive/warehouse/test.db/table2'

恢复元数据

msck repair table table2;

3.1 存储Hive版本的元数据表（VERSION）

该表比较简单，但很重要。

VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
10.13.0Set by MetaStore

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

3.2 Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

  • DBS

该表存储Hive中所有数据库的基本信息，字段如下：

元数据表字段说明示例数据
DB_ID数据库ID2
DESC数据库描述测试库
DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME数据库名lxw1234
OWNER_NAME数据库所有者用户名lxw1234
OWNER_TYPE所有者角色USER

  • DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

元数据表字段说明示例数据
DB_ID数据库ID2
PARAM_KEY参数名createdby
PARAM_VALUE参数值lxw1234

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

3.3 Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

  • TBLS

该表中存储Hive表、视图、索引表的基本信息。

元数据表字段说明示例数据
TBL_ID表ID1
CREATE_TIME创建时间1436317071
DB_ID数据库ID2，对应DBS中的DB_ID
LAST_ACCESS_TIME上次访问时间1436317071
OWNER所有者liuxiaowen
RETENTION保留字段0
SD_ID序列化配置信息86，对应SDS表中的SD_ID
TBL_NAME表名lxw1234
TBL_TYPE表类型MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT视图的详细HQL语句select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT视图的原始HQL语句select * from lxw1234

  • TABLE_PARAMS

该表存储表/视图的属性信息。

元数据表字段说明示例数据
TBL_ID表ID1
PARAM_KEY属性名totalSize、numRows、EXTERNAL
PARAM_VALUE属性值970107336、21231028、TRUE

  • TBL_PRIVS

该表存储表/视图的授权信息

元数据表字段说明示例数据
TBL_GRANT_ID授权ID1
CREATE_TIME授权时间1436320455
GRANT_OPTION0
GRANTOR授权执行用户liuxiaowen
GRANTOR_TYPE授权者类型USER
PRINCIPAL_NAME被授权用户username
PRINCIPAL_TYPE被授权用户类型USER
TBL_PRIV权限Select、Alter
TBL_ID表ID22，对应TBLS表中的TBL_ID

3.4 Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

  • SDS

该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

元数据表字段说明示例数据
SD_ID存储信息ID1
CD_ID字段信息ID21，对应CDS表
INPUT_FORMAT文件输入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否压缩0
IS_STOREDASSUBDIRECTORIES是否以子目录存储0
LOCATIONHDFS路径hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS分桶数量5
OUTPUT_FORMAT文件输出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化类ID3，对应SERDES表

  • SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元数据表字段说明示例数据
SD_ID存储配置ID1
PARAM_KEY存储属性名
PARAM_VALUE存储属性值
  • SERDES

该表存储序列化使用的类信息

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
NAME序列化类别名
SLIB序列化类org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  • SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
PARAM_KEY属性名field.delim
PARAM_VALUE属性值,

3.5 Hive表字段相关的元数据表

主要涉及COLUMNS_V2

  • COLUMNS_V2

该表存储表对应的字段信息。

元数据表字段说明示例数据
CD_ID字段信息ID1
COMMENT字段注释
COLUMN_NAME字段名pt
TYPE_NAME字段类型string
INTEGER_IDX字段顺序2

3.6 Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

  • PARTITIONS

该表存储表分区的基本信息。

元数据表字段说明示例数据
PART_ID分区ID1
CREATE_TIME分区创建时间
LAST_ACCESS_TIME最后一次访问时间
PART_NAME分区名pt=2015-06-12
SD_ID分区存储ID21
TBL_ID表ID2
  • PARTITION_KEYS

该表存储分区的字段信息。

元数据表字段说明示例数据
TBL_ID表ID2
PKEY_COMMENT分区字段说明
PKEY_NAME分区字段名pt
PKEY_TYPE分区字段类型string
INTEGER_IDX分区字段顺序1

  • PARTITION_KEY_VALS

该表存储分区字段值。

元数据表字段说明示例数据
PART_ID分区ID2
PART_KEY_VAL分区字段值2015-06-12
INTEGER_IDX分区字段值顺序0

  • PARTITION_PARAMS

该表存储分区的属性信息。

元数据表字段说明示例数据
PART_ID分区ID2
PARAM_KEY分区属性名numFiles、numRows
PARAM_VALUE分区属性值15、502195

3.7 其他不常用的元数据表

  • DB_PRIVS

数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。

  • IDXS

索引表，存储Hive索引相关的元数据

  • INDEX_PARAMS

索引相关的属性信息。

  • TAB_COL_STATS

表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。

  • TBL_COL_PRIVS

表字段的授权信息

  • PART_PRIVS

分区的授权信息

  • PART_COL_STATS

分区字段的统计信息。

  • PART_COL_PRIVS

分区字段的权限信息。

  • FUNCS

用户注册的函数信息

  • FUNC_RU

用户注册函数的资源信息

3.8 示例

建表语句：

CREATE TABLE lxw1234 (
 cookieid STRING,
 url STRING,
 ua STRING,
 ip STRING,
 createtime STRING
) 
COMMENT 'This is the page view table' 
partitioned BY (day STRING,site STRING) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored AS ORC;

建表执行之后，元数据中以下表的数据会有所变化：

  • TBLS

生成了表lxw1234的基本信息

SELECT * FROM TBLS WHERE TBL_NAME = ‘lxw1234’;

元数据表字段数据
TBL_ID41509
CREATE_TIME1436324659
DB_ID11
LAST_ACCESS_TIME0
OWNERliuxiaowen
RETENTION0
SD_ID91740
TBL_NAMElxw1234
TBL_TYPEMANAGED_TABLE
VIEW_EXPANDED_TEXTNULL
VIEW_ORIGINAL_TEXTNULL

  • TABLE_PARAMS

select  *  from  TABLE_PARAMS  WHERE  TBL_ID=41509

TBL_IDPARAM_KEYPARAM_VALUE
41509commentThis is the page view table
41509transient_lastDdlTime1436324659

  • SDS

SELECT * FROM SDS WHERE SD_ID = 91740

元数据表字段数据
SD_ID91740
CD_ID41564
INPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED0
IS_STOREDASSUBDIRECTORIES0
LOCATIONhdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234
NUM_BUCKETS-1
OUTPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID91740
  • SERDES

select * from SERDES WHERE SERDE_ID = 91740

元数据表字段数据
SERDE_ID91740
NAME
SLIBorg.apache.hadoop.hive.ql.io.orc.OrcSerde

  • SERDE_PARAMS

select * from  SERDE_PARAMS  WHERE  SERDE_ID=91740

SERDE_IDPARAM_KEYPARAM_VALUE
91740field.delim,
91740serialization.format,

  • COLUMNS_V2

select * from COLUMNS_V2 WHERE CD_ID=41564 ORDER BY INTEGER_IDX

CD_IDCOMMENTCOLUMN_NAMETYPE_NAMEINTEGER_IDX
41564cookieidstring0
41564urlstring1
41564uastring2
41564ipstring3
41564createtimestring4

  • PARTITION_KEYS

select * from  PARTITION_KEYS  WHERE  TBL_ID=41509

TBL_IDPKEY_COMMENTPKEY_NAMEPKEY_TYPEINTEGER_IDX
41509daystring0
41509sitestring1

再插入数据：

INSERT OVERWRITE TABLE lxw1234 PARTITION (day = '2015-07-08', site = 'test.com') 
SELECT 
'cookie1' AS cookieid,
'http://test.com' AS url,
'firefox' AS ua,
'127.0.0.1' AS ip,
'2015-07-08 11:00:01' AS createtime 
FROM dual 
limit 1;

插入数据执行完之后，以下表的元数据发生变化：

  • PARTITIONS

select * from  `PARTITIONS`  WHERE  TBL_ID=41509

PART_IDCREATE_TIMELAST_ACCESS_TIMEPART_NAMESD_IDTBL_ID
5447214363258120day=2015-07-08/site=lxw1234.com9174641509
  • SDS

select *  from  SDS  WHERE  SD_ID=91746

注意：这里的存储和表的存储是不同的，因为每个分区也会有一个SD

元数据表字段数据
SD_ID91746
CD_ID41564
INPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED0
IS_STOREDASSUBDIRECTORIES0
LOCATIONhdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com
NUM_BUCKETS-1
OUTPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID91746

  • PARTITION_KEY_VALS

select  *  from  PARTITION_KEY_VALS  where  PART_ID=54472

PART_IDPART_KEY_VALINTEGER_IDX
544722015-07-080
54472lxw1234.com1

  • PARTITION_PARAMS

select * from PARTITION_PARAMS where PART_ID = 54472

PART_IDPARAM_KEYPARAM_VALUE
54472COLUMN_STATS_ACCURATEtrue
54472numFiles1
54472numRows1
54472rawDataSize408
54472totalSize703
54472transient_lastDdlTime1436325813

在分区的属性里面，生成的该分区的统计信息（Statistics）。

 

 参考：https://www.cnblogs.com/qingyunzong/p/8710356.html

ZhaoYingChao88
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive-update-metadata:这是一个使用HIVE钥匙串更新HIVE帐户的JSON元数据的小工具
04-05
HIVE更新JSON元数据 这是一个使用更新HIVE帐户的JSON元数据的小工具。 可以在以下位置访问该工具： : 如果您有任何疑问或建议，请随时联系 。 用法 输入您的HIVE用户名，点击“加载JSON元数据” 出现一个文本区域，其中显示当前的JSON元数据 编辑数据（保持JSON语法） 点击“更新JSON元数据” HIVE钥匙串打开，您需要确认操作 执照 麻省理工学院执照 版权（c）2021入门 特此免费授予获得此软件和相关文档文件（“软件”）副本的任何人无限制地处理软件的权利，包括但不限于使用，复制，修改，合并的权利，发布，分发，再许可和/或出售本软件的副本，并允许具备软件的人员这样做，但须满足以下条件： 以上版权声明和此许可声明应包含在本软件的所有副本或大部分内容中。 本软件按“原样”提供，不提供任何形式的明示或暗示担保，包括但不限于对适销性，特定目的的适用性和非
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
5.Hive表修改Location，一次讲明白
每天进步一点点
01-27 1838
Hive中偶尔会遇到需要调整表Location的情况，这篇文章给出了相应的解决方案，以供参考。
【Hive-Partition】Hive添加分区及修改分区location
weixin_53543905的博客
07-04 2153
当我们在 Hive 中创建外表时，需要映射 HDFS 路径，数据落入到 HDFS 上时，我们在 Hive 中查询时会发现 HDFS中有数据，Hive 没有数据，那是因为我们在 HDFS 上的数据还没有成功修复至 Hive中，需要进行分区的修复（或者称之为添加分区）
hive-数据导入导出(超级详细)
互联网知识分享
05-23 1399
而hdfs中create的表名在hdfs是看不到的，只有 location 的表名可以看到，虽然上下的两个表名可以不一致，但是一般使用一样容易区分,注释:从表3查询出来的结果给表1和表2做为数据插入，其中表1和表2可以是临时要创建的新字段，也可以是旧字段，当然3个表也可以是相同。）注释: 表名1的数据要导入给表名2 ，表的结构是要相同的，内部表对内部表，外部表对外部表，且字段结构个数都要相同。partition(1级分区字段=值[,2级分区字段=值]) values(a,b,...)
修改hive表location
修鹏的专栏
05-20 3万+
两种方式： 一、通过修改表DDL： alter table t_m_cc set location 'hdfs://heracles/user/video-mvc/hive/warehouse/t_m_cc' 二、直接修改hive 的meta info: update `DBS` set `DB_LOCATION_URI` = replace(DB_LOCATION_URI,"oldp
hive建模和优化,impala刷新元数据和表
weixin2006的博客
11-25 3438
建模 1、介绍 Hive作为数据仓库，同关系型数据库开发过程类似，都需要先进行建模，所谓建模，就是对表之间指定关系方式。建模在hive中大致分为星型、雪花型和星座型。要对建模深入理解，首先需要对hive数仓中的集中表概念进行界定。hive中的表从形态上分内部表、外部表、桶表、分区表。在数据逻辑上划分为维度表和事实表。维度表等价于我们常说的字典表。事实表就是字典表之外的数据表。 1.1 星型 多张维...
【Hive】升级元数据踩坑（mysql版本）
lsr40的博客
01-20 3047
hive的版本更新得蛮快的，但是一般我们定好一个版本之后，就不太会升级，但是有时候想要用到一些新版本的特性，我们就需要升级hive的版本 这就涉及到元数据迁移： 有两种做法： 1、写脚本 https://blog.csdn.net/maotai_2010/article/details/52185822 https://www.sohu.com/a/225997339_411876 ...
更新mysql元数据_更新hive元数据-python代码
weixin_39851974的博客
02-12 395
#!/usr/bin/python#-*- coding: utf-8 -*-import sysimport osimport reimport chardetimport codecsimport MySQLdbpath="/Users/zhangyupeng/SVN/10_UAT_DEPLOY/SCFS/"#connect the databasedb = MySQLdb.connect(h...
hive仓库元数据管理系统
最新发布
02-05
3.元数据信息更新（目前只提供对库、表、字段的描述信息进行更新，通过单击或者双击相应字段可进行相应编辑）； 4.对表数据或按分区进行预览 5.对表数据或按分区进行数据EXCEl格式导出 6.数据下载，直接从hdfs上下载...
Hive.sql，hive的元数据
05-20
Hive.sql
Hive metastore 使用达梦数据库存储元数据
05-10
## Hive metastore 使用达梦数据库存储元数据 - 使用说明 1. **在达梦数据库中创建metastore将使用的用户和表空间** 2. **配置hive-site.xml** 3. **元数据初始化** ### 常见问题
详解hbase与hive数据同步
08-29
主要介绍了详解hbase与hive数据同步的相关资料,需要的朋友可以参考下
Hive表修改location
lifeohcaro的博客
02-23 2265
一、通过修改表DDL： alter table sdm.test_proj_plan set location 'hdfs://nameservice1/sdm/data/test/test_proj_plan' 可以将要修改的表替换一下上面的语句，测试可行
大数据开发-＞Scala程序：通过jdbc自动化读取mysql库源表并创建对应hive表，最后自动刷新元数据
雨落
03-02 731
通过jdbc自动化读取mysql库源表并创建对应hive表，最后自动刷新元数据
Impala中的invalidate metadata和refresh
热门推荐
Hello World
05-27 3万+
前言Impala采用了比较奇葩的多个impalad同时提供服务的方式，并且它会由catalogd缓存全部元数据，再通过statestored完成每一次的元数据的更新到impalad节点上，Impala集群会缓存全部的元数据，这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的，例如通过hive建表，直接拷贝新的数据到HDFS上等，Impala提供了两种机制来实现元数据的更新，分
hive 1.2 和 hive-3.1 公用一套元数据和元数据迁移和升级的流程方案
houzhizhen的专栏
06-28 816
本方案包含 hive-1.2 集群，新建的 hive-3.1集群（上面存储的表和库信息可以删除，升级之后和 hive-1.2 公用一个元数据库）。hive-1.2 集群使用的 mysql 数据库迁移到新的地址。升级 hive 1.2 元数据库到 3.1。升级之后，hive-1.2 集群和 hive-3.1 集群共同使用同一个 mysql。一个集群可以看到并操作另一个集群存储在 BOS 上的数据。以下是操作步骤：停止方法：使用命令 或者通过 ambari 操作。 停止 hive metastore 后，集群所
hive 元数据升级
baiyangfu的专栏
12-05 4025
hadoop集群升级到HA模式，core-site.xml 的配置：fs.defaultFS 会变成 hdfs://clusterid 的形式，与之前的 hdfs://{namenode hostname} 的形式有很大的区别。 而对于hive旧的matadata，表的存储路径还是hdfs://{namenode hostname} 会造成，从hdfs上load到表的时候出现类似问题：
SQL排序之 row_number, rank(), dense_rank()区别
赵英超的博客
08-11 8497
三者的区别如下： rank()排序相同时会重复，总数不变，即会出现1、1、3这样的排序结果； dense_rank()排序相同时会重复，总数会减少，即会出现1、1、2这样的排序结果； row_number()排序相同时不会重复，会根据顺序排序。 具体实例 建表、插入数据 create table rownumber( id varchar(10) not null, name varchar(10) null, age varchar(10) null,
hive元数据生成创建表语句
08-09
Hive是一种基于Hadoop的数据仓库基础架构，用于处理大规模数据集，并以SQL语言进行查询和分析。Hive中的元数据是指数据表的元信息，包括表的名称、列名、数据类型、分区等。当我们在Hive中创建一个数据表时，Hive会自动生成对应的元数据，同时也会生成创建表的SQL语句。 元数据生成创建表语句的过程大致如下： 1. 定义表结构：在Hive中创建表之前，需要定义表的结构，包括表名、列名以及每列的数据类型。例如，我们可以使用CREATE TABLE语句定义一个表的结构，并指定列名和数据类型。 2. 生成元数据：当我们执行CREATE TABLE语句后，Hive会解析该语句，并根据表结构生成对应的元数据。元数据包含了表的各种信息，如表名、列名、列的数据类型、列的分区等。 3. 生成创建表语句：Hive会根据生成的元数据，自动生成对应的创建表语句。创建表语句包括CREATE TABLE语句以及表的各种属性和选项。例如，如果我们创建了一个包括ID和Name两列的表，Hive会生成类似于以下的创建表语句： CREATE TABLE my_table ( ID INT, Name STRING ); 其中，my_table为表名，ID和Name为列名，INT和STRING为对应的数据类型。 总之，Hive的元数据生成创建表语句的过程包括定义表结构、生成元数据和生成创建表语句。通过这个过程，我们可以方便地创建表并管理表的元信息，从而方便地对大规模数据集进行查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhaoYingChao88

整理不易，还请多多支持，谢谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值