Hive元数据迁移及升级方案

已于 2023-11-08 22:18:12 修改
阅读量655 收藏
点赞数
分类专栏： 大数据技术 文章标签： hive hadoop 数据仓库
于 2023-11-08 22:17:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liubin0205/article/details/134299505
版权

  1. Hive的架构和工作原理简介

Hive 是基于Hadoop之上的数仓，便于用户可以基于SQL（Hive QL）进行数据分析，其架构图如下:

从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射，以及把SQL语句转换为MapReduce（tez或spark）任务，以便进行分布式查询分析。

具体分布式文件的存储、分布式计算的执行等均由后端的Hadoop来承接，如下图所示：

基于上图架构，Hive迁移主要包含两部分：Hive 元数据以及存储在HDFS/HBase上的文件数据，同时由于新Hive版本升级还需调整元数据以适应新版本。

方案一：Upgrade SQL方式

Hive元数据迁移方案

HIve元数据用来存储hive 关系型数据库和HDFS的映射关系，生产HIve元数据一般选择存储在MySQL中，元数据迁移即迁移存储在MySql中的hivemetastore库，操作步骤如下：

Dump 源 Hive 元数据库

# dumpmysql 库
mysqldump -hX.X.X.X -uroot -pXXXX --single-transaction --set-gtid-purged=OFF hivemetastore > hivemetastore-src.sql

# 如果 mysql 数据没有开启 GTID，请删除命令行中的 --set-gtid-purged=OFF  
# X.X.X.X为数据库服务器地址  
# XXXX为数据库密码  
# 如果数据库用户不是 root，请用正确的用户名  
# hivemetastore 是 Hive 元数据库名

  1. 确认目标 Hive 表数据在 HDFS 中的路径

Hive 表数据在 HDFS 中的缺省路径由 hive-site.xml 中的 hive.metastore.warehouse.dir 指定。如果 Hive 表在 HDFS 的存储位置依然保持与源 Hive 一致，那么需要修改目标Hive配置项 hive.metastore.warehouse.dir与源 Hive 数据库中的值一致。例如，源 hive-site.xml 中 hive.metastore.warehouse.dir 为下面的值：

<property> 
    <name>hive.metastore.warehouse.dir</name>
    <value>/apps/hive/warehouse</value>
</property>

目标 hive-site.xml与源hive-site.xml保持一致。

确认目标 Hive 元数据 SDS.LOCATION 和 DBS.DB_LOCATION_URI 字段

查询获取当前元数据库中 SDS.LOCATION 和 DBS.DB_LOCATION_URI 字段：

SELECT DB_LOCATION_URI from DBS;  
SELECT LOCATION from SDS; 

# 结果如下
mysql> SELECT LOCATION from SDS;  
+--------------------------------------------------+  
| LOCATION |  
+--------------------------------------------------+  
| hdfs://hdfs-ha/usr/hive/warehouse/hitest.db/t1 |  
| hdfs://hdfs-ha/usr/hive/warehouse/test2 |  
+--------------------------------------------------+  
mysql> SELECT DB_LOCATION_URI from DBS;  
+-----------------------------------------------+  
| DB_LOCATION_URI |  
+-----------------------------------------------+  
| hdfs://hdfs-ha/usr/hive/warehouse |  
| hdfs://hdfs-ha/usr/hive/warehouse/hitest.db |  
+-----------------------------------------------+

其中 hdfs://hdfs-ha 是 HDFS 默认文件系统名，由 core-site.xml 中的 fs.defaultFS 指定，

<property>  
   <name>fs.defaultFS</name>  
   <value>hdfs://hdfs-ha</value>  
</property>

/usr/hive/warehouse为 Hive 表在 HDFS 中的默认存储路径，也是 hive-site.xml 中 hive.metastore.warehouse.dir 指定的值。所以我们需要修改源 hive 元数据 sql 文件中的 SDS.LOCATION 和 DBS.DB_LOCATION_URI 两个字段。确保被导入的 Hive 元数据库中的这两个字段使用的是正确的路径。可使用如下 sed 命令批量修改 sql 文件。

# 替换defaultFS：
sed -i 's/old-defaultFS/new-defaultFS/g' hivemetastore-src.sql

# 替换ip，一般用不到，除非有关联的外部表 ：
sed -i 's/oldcluster-ip:4007/newcluster-ip:4007/g' hivemetastore-src.sql

  1. 停止目标 Hive 服务 MetaStore、HiveServer2、WebHcataLog

在目标集群管理平台，停止hive组件所有服务。

  1. 备份目标 Hive 元数据库

# 备份目标hive元数据库
mysqldump -hX.X.X.X -uroot -pXXXX --single-transaction --set-gtid-purged=OFF hivemetastore > hivemetastore-target.sql  

# 如果 mysql 数据没有开启 GTID，请删除命令行中的 --set-gtid-purged=OFF
# X.X.X.X为数据库服务器地址
# XXXX为数据库密码
# 如果数据库用户不是 root，请用正确的用户名
# hivemetastor 是 Hive 元数据库名

  1. Drop/Create 目标 Hive 元数据

mysql> drop database hivemetastore;  
mysql> create database hivemetastore;

  1. 导入源 Hive 元数据库到目标数据库

mysql -hX.X.X.X -uroot -pXXXX hivemetastore < hivemetastore-src.sql  
# X.X.X.X为数据库服务器地址
# XXXX为数据库密码
# 如果数据库用户不是 root，请用正确的用户名  
# hivemetastor 是 hive 元数据库名

至此Hive元数据迁移已完成，如果源Hive和目标Hive版本可直接启动目标 Hive 服务 MetaStore、HiveServer2。

如果源Hive和目标Hive版本不一致还需要使用以下Hive元数据升级方案，升级Hive元数据以兼容新版本Hive。

  1. Hive元数据升级方案

分别在源集群和目标集群查询 Hive 版本，确定两端版本号：

hive --service version

Hive官方提供metastore升级，官方升级脚本和升级规则如下：

[root@hadoop]# pwd
/data/hive/1/hive-3.1.0/scripts/metastore/upgrade
[root@hadoop upgrade]# cat mysql/upgrade.order.mysql 
0.5.0-to-0.6.0
0.6.0-to-0.7.0
0.7.0-to-0.8.0
0.8.0-to-0.9.0
0.9.0-to-0.10.0
0.10.0-to-0.11.0
0.11.0-to-0.12.0
0.12.0-to-0.13.0
0.13.0-to-0.14.0
0.14.0-to-1.1.0
1.1.0-to-1.2.0
1.2.0-to-2.0.0
2.0.0-to-2.1.0
2.1.0-to-2.2.0
2.2.0-to-2.3.0
2.3.0-to-3.0.0
3.0.0-to-3.1.0

升级脚本存放位置：/data/hive/1/hive-3.1.0/scripts/metastore/upgrade/mysql/

hive 不支持跨版本升级，例如 hive 从1.1.0 升级到 3.1.0需要依次执行：

upgrade-1.1.0-to-1.2.0.mysql.sql -> 
upgrade-1.2.0-to-2.0.0.mysql.sql -> 
upgrade-2.0.0-to-2.1.0.mysql.sql -> 
upgrade-2.1.0-to-2.2.0.mysql.sql -> 
upgrade-2.2.0-to-2.3.0.mysql.sql -> 
upgrade-2.3.0-to-3.0.0.mysql.sql -> 
upgrade-3.0.0-to-3.1.0.mysql.sql

升级脚本主要操作为建表、加字段、改内容。如果表或字段已经存在，则升级过程中字段已存在的异常可以忽略。

升级命令如下：

mysql> source /data/hive/1/hive-3.1.0/scripts/metastore/upgrade/mysql/upgrade-1.1.0-to-1.2.0.mysql.sql; 
mysql> source /data/hive/1/hive-3.1.0/scripts/metastore/upgrade/mysql/upgrade-1.2.0-to-2.0.0.mysql.sql;

启动目标 Hive 服务 MetaStore、HiveServer2。

最后可通过 Hive sql 查询进行验证。

  1. 语法兼容性

版本升级可能会遇到保留字和function兼容性问题问题，下面总结升级过程中可能遇到的一些语法兼容性问题：

  1. Hive新增保留字问题

Hive随着版本变迁，保留字越来越多。 保留字的详细情况可以参考：Hive各个版本的保留字链接：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Keywords,Non-reservedKeywordsandReservedKeywords

新版本Hive会预留更多保留字，如果SQL用到产生语法问题，在hive 2.1.0 和之前版本可以通过参数设置set hive.support.sql11.reserved.keywords=false来取消保留字校验， 达到不需要修改SQL，又能保证线上SQL稳定运行的兼容效果。

当SQL中含有跨版本之间（hive 2.1.0 -> hive 3.1.0）的新增的关键字时候，只能修改SQL进行兼容了，需要将与关键字冲突的属性名用反引号包围。 新版本增加的关键字有：OFFSET、SUBQUERY、REWRITE、PRIMARY、FOREIGN、KEY、 REFERENCES、CONSTRAINT等。

  1. Function兼容性

Hive函数手册链接：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions

和Hive 1.1.0相关变动的函数有5处，用到以下function的HSQL需要注意(某些是hive1.1.0新添加的，可忽略)：

  1. T greatest(T v1, T v2, ...) - 在hive2.0.0修复了返回NULL的bug

  2. T least(T v1, T v2, ...) - 在hive2.0.0修复了返回NULL的bug

  3. string add_months(string start_date, int num_months, output_date_format) - 从hive1.1.0开始参数规则有所变化

  4. string last_day(string date) - 从hive1.1.0开始使用

  5. string initcap(string A) - 从hive1.1.0开始使用

方案二：New Create Table方式

通过脚本获得所有的建表语句，然后直接在高版本的hive中执行相应的建表语句，然后数据导入之后， 使用  msck repair table 修复分区信息。

注意：但是如果批量修复元数据，有可能分区太多导致OOM，可以设置下批次，比如：set hive.msck.repair.batch.size=5000;

源Hive集群获取table的脚本样例如下：

#!/bin/bash 
#查询获得所有databases
databases=`hive -S -e "show databases;"`
echo $databases
array=(${databases// / })  
#循环传入database
for database in ${array[@]}
do
   #获取该库下所有tables
   tablenames=`hive -S -e "use $database; show tables;"`
   table_array=(${tablenames// / })
   #删除该库历史建表语句
   rm -rf ${database}.txt
   #循环传入table
   for tablename in ${table_array[@]}
   do
      create_table=`hive -S -e "use $database; show create table $tablename;"`";"
      echo -e $create_table >> ${database}.txt 
      echo -e '\n' >> ${database}.txt
   done
done

然后在目标Hive集群执行${database}.txt所在库的建表语句。

最后修复分区信息

msck repair table 

丁点大数据
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive.ziphive数据迁移和数据分析
01-10
hive.ziphive数据迁移和数据分析
导出hive元数据，迁移数据使用
01-25
执行命令： java -cp hive-distcp-1.0-SNAPSHOT-shaded_sc.jar com.apex.distcp.HiveTable --config [库名] > test.sql
Hive元数据迁移
snail_bing的博客
07-13 1140
1.导出源hive集群的元数据 导出源hive集群的元数据，使用相应的关系型数据库的导出命令即可，比如pg： pg_dump -h [hostname] -U [username] hive >/tmp/hive.sql 2.将导出的元数据导入目标集群 将导出的元数据在目标hive集群上导入，使用相应的关系型数据库的导入命令即可，比如pg： psql -f /tmp/hive.sql -d hive 注意：需要使用hive用户导入数据，否则导入数据后，表的所属用户不是hive，会导致
Hive 元数据
最新发布
m0_73577749的博客
05-23 779
元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。在建表的时候，用户还需 要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。删除该表并不会删除掉这 份数据，不过描述表的元数据信息会被删除掉。在删除表的时候，内部表的元数据和数据会被一起删除，而外 部表只删除元数据，不删除数据。
Hive之数据迁移方案(实测)
南风知我意
08-26 1191
Hive的迁移涉及两个技术点： 1.仅迁移元数据 2.元数据及Hive数据全量迁移 2.1 全表迁移 2.1.1 旧集群 2.1.2 新集群 2.2 仅部分分区迁移（主要步骤） 2.1.1 旧集群 2.1.2 新集群 2.3 beeline连接hive并进行数据迁移...
【Hive】升级元数据踩坑（mysql版本）
lsr40的博客
01-20 3098
hive的版本更新得蛮快的，但是一般我们定好一个版本之后，就不太会升级，但是有时候想要用到一些新版本的特性，我们就需要升级hive的版本 这就涉及到元数据迁移： 有两种做法： 1、写脚本 https://blog.csdn.net/maotai_2010/article/details/52185822 https://www.sohu.com/a/225997339_411876 ...
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 3043
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
hive 1.2 和 hive-3.1 公用一套元数据和元数据迁移和升级的流程方案
houzhizhen的专栏
06-28 832
本方案包含 hive-1.2 集群，新建的 hive-3.1集群（上面存储的表和库信息可以删除，升级之后和 hive-1.2 公用一个元数据库）。hive-1.2 集群使用的 mysql 数据库迁移到新的地址。升级 hive 1.2 元数据库到 3.1。升级之后，hive-1.2 集群和 hive-3.1 集群共同使用同一个 mysql。一个集群可以看到并操作另一个集群存储在 BOS 上的数据。以下是操作步骤：停止方法：使用命令 或者通过 ambari 操作。 停止 hive metastore 后，集群所
hive仓库元数据管理系统
02-05
1.hive元数据信息的查看，包括表基本信息，数据库基本信息，字段信息，分区信息，索引信息等； 2.对hive元数据的检索，包括表、字段、数据库等内容的检索 3.元数据信息更新（目前只提供对库、表、字段的描述信息进行...
关于hive元数据的错误
01-07
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/92f8b98...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
通俗易懂的Hive升级版教程（含配套资料）
06-15
Hive是基于Hadoop的一个数据仓库工具，将繁琐的MapReduce程序变成了简单方便的SQL语句实现，深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中，你将学习到，Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合影音项目需求，把整个Hive的核心知识点贯穿起来。更新：课件升级、添加自定义UDTF函数、企业常用函数以及更多企业面试真题详细讲解
Hadoop历险记（七 Hive配置和启动hiveservice2服务）
陆续将以前写过的技术博客统一搬运到csdn
05-02 2707
但是hive我们并没有每天机器都安装，我们只安装第一台机器，所以从安装角度说他是单机的，但是它为什么优势分布式查询呢？现在都强烈用新配置了， 这里新配置由多了一个东西 叫做HS2，新手觉得很sb，本来元数据外面套一个元数据服务，现在元数据服务外面还有再套一个HS2.理解配置文件是非常必要的，这个必要性就在于 从配置文件你能体会到hive的各个组合是怎么联系起来的，它是怎么和Hadoop配合的。前面一堆操作 我们已经正式启动了hive 装也装好了 配也配好了 服务也起来了，现在我们可以正式的使用它了。
Hive 元数据表结构详解
weixin_34294649的博客
08-15 514
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
【python】hive数据库迁移到mysql数据库
lorogy的博客
12-31 1338
可能需要先看的内容(
Hive 不同版本中更新操作 update/merge into
Allenzyg的博客
04-02 776
(2)要执行Update的表中, 需要指定格式,其余格式目前赞不支持, 如:parquet格式, 目前只支持ORCFileformat和AcidOutputFormat。对比在hive1.1.0 使用overwrite ，hive2.3.5使用merge into的方式 ，对不同量级的数据进行更新时的语法及效率。hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。(1)要执行Update的表中, 建表时必须带有buckets(分桶)属性。二、批量更新语法对比。
大数据技术之集群数据迁移
运维仙人
04-20 1593
在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。迁移借用Hadoop自带的插件：distcp。
【Hive】Hive元数据库介绍及信息查看
热门推荐
victorzzzz的专栏
08-20 2万+
转载@dabokele 在安装Hive时，需要在hive-site.xml文件中配置元数据相关信息。与传统关系型数据库不同的是，hive表中的数据都是保存的HDFS上，也就是说hive中的数据库、表、分区等都可以在HDFS找到对应的文件。这里说到的元数据可以理解成hive中用于保存数据库、表、分区或者表字段等基本属性，以及这些属性与HDFS文件对应关系的一个映射。 　　这些映射关系比较常见的一...
Hive基础
m0_57356943的博客
07-05 935
Hive 数据仓库 数据仓库是存数据的，企业的各种数据往里存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：数据仓库是面向分析的存储系统 主要特征：是面向主题的、集成的、非易失的和时变的数据集合，用于支持管理决策。 数据库与数据仓库的区别： 数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生的，它绝不是所谓的 “大型数据库”。 1 Hive介绍 传入一条交互式的SQL在海量的数据中查询
hive元数据使用场景
01-17
Hive元数据使用场景包括以下几个方面： 1. 表的创建和管理：Hive元数据可以用于创建和管理表。通过Hive元数据，可以定义表的结构、分区、存储格式等信息，并且可以对表进行增删改查的操作。 2. 数据的导入和导出：Hive元数据可以用于将数据导入到Hive表中或从Hive表中导出数据。通过Hive元数据，可以指定数据的来源和目标，并且可以对数据进行转换和处理。 3. 数据的查询和分析：Hive元数据可以用于查询和分析数据。通过Hive元数据，可以使用SQL语句对Hive表中的数据进行查询和分析，并且可以进行聚合、过滤、排序等操作。 4. 数据的转换和清洗：Hive元数据可以用于数据的转换和清洗。通过Hive元数据，可以定义数据的转换规则和清洗规则，并且可以对数据进行转换和清洗的操作。 5. 数据的备份和恢复：Hive元数据可以用于数据的备份和恢复。通过Hive元数据，可以将Hive表的元数据进行备份，并且可以在需要时恢复元数据，以便恢复表的结构和数据。 6. 数据的权限管理：Hive元数据可以用于数据的权限管理。通过Hive元数据，可以定义用户和角色的权限，并且可以对表和列进行权限控制，以保护数据的安全性。 以上是Hive元数据的一些常见使用场景。通过使用Hive元数据，可以更方便地管理和操作Hive表中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值