hive升级

在这里插入图片描述

升级主要说明:

1.为避免升级前后数据偏差,关闭一切写入表的操作 ,【实际采用了并行执行,并未中断写入,只是copy 一份份元数据,升级后,再回补新数据库缺失的数据】
2.hive升级:2.1–>2.3.7 我们元数据库是mysql 2.1 emr集群上执行以下命令:

cd  /usr/lib/hive/scripts\metastore\upgrade\mysql/
mysql -h host -P 3306 -u litbaws -p 密码 hive < upgrade-2.1.0-to-2.2.0.mysql.sql
mysql -h host -P 3306 -u litbaws -p 密码 hive < upgrade-2.2.0-to-2.3.0.mysql.sql

执行sql 有可 能会报错,请注意报错问题,并查看对元数据有影响,为保证正确,每个版本升级后,请备份 方便回滚,切记:一个版本 接着一个版本迭代。【主要涉及到一些表字段的添加,删除 类型改变等】

执行完后,修改hive-site.xml

<property>
<name>hive.metastore.uris</name>
<value>thrift:// your metastore's host :9083</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://your host :3306/hive?createDatabaseIfNotExist=true</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.mariadb.jdbc.Driver</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>your username</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value> your password </value>
<description>password to use against metastore database</description>
</property>

2.2 重启hive 元数据服务: hive --service metastore
2.3重启hive hiveserver2:hive --service hiveserver
2 2.4启动hive客户端 ,验证是否升级成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive是一个基于Hadoop的开源数据仓库工具,用于处理大规模的数据集。滚动升级是指在不中断现有的Hive服务和数据的情况下,将Hive升级到更高版本。下面是Hive滚动升级的一般步骤: 1.备份数据:在开始滚动升级之前,务必备份Hive的元数据和数据。可以使用Hive metastore的导出功能来备份元数据,并将Hadoop集群上的Hive数据库目录复制到一个安全的位置。 2.安装新版本:下载并安装Hive的新版本,确保新版本与当前的Hadoop集群兼容。可以通过解压安装包或使用软件包管理器来安装新版本。 3.测试新版本:在进行正式升级之前,建议在一个测试环境中对新版本进行测试。可以使用一些示例查询和表来验证新版本是否正常工作。 4.停止Hive服务:在进行滚动升级之前,需要停止当前运行的Hive服务。可以使用以下命令停止Hive服务: hive --service hiveserver2 stop 5.升级元数据:在停止Hive服务后,需要升级Hive元数据。可以使用Hive的元数据升级工具来完成此操作。运行升级工具时,需要指定先前备份的元数据路径。 6.修改配置文件(可选):在升级过程中,可能需要修改Hive的配置文件以适应新版本的要求。可以将先前备份的配置与新版本的配置进行比较,并进行相应的更改。 7.启动Hive服务:在完成元数据升级和配置修改后,可以启动Hive服务以使升级生效。可以使用以下命令启动Hive服务: hive --service hiveserver2 start 8.验证升级:一旦Hive服务启动,可以使用一些查询和操作来验证升级是否成功。可以确认数据可以正常读取和写入,并确保查询结果与预期一致。 滚动升级Hive时,需要非常小心并仔细遵循官方文档中的指导。此外,在进行升级之前,最好在一个测试环境中对整个过程进行实施并验证。如果升级出现任何问题,可以通过还原元数据和数据的备份来恢复到之前的状态。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值