hive 元数据升级

hadoop集群升级到HA模式,core-site.xml 的配置:fs.defaultFS 会变成 hdfs://clusterid 的形式,与之前的 hdfs://{namenode hostname} 的形式有很大的区别。

而对于hive旧的matadata,表的存储路径还是hdfs://{namenode hostname} 会造成,从hdfs上load到表的时候出现类似问题:


 Move from: hdfs://qunarcluster/export/wirelessdev/log/etl/touchweb/2013/12/03/15/l-tc3.wap.cn1/part-00000.gz to:
 hdfs://l-hdpm1.data.cn6.qunar.com/user/hive/warehouse/wirelessdata.db/hive_etl_touch/dt=2013-12-03/hour=15/logtype=l-tc3.wap.cn1
 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict

这个问题解决方法: http://stackoverflow.com/questions/19431074/hive-not-fully-honoring-fs-default-name-fs-defaultfs-value-in-core-site-xml



但是在metatool -updateLocation 的时候很容易爆内存,一定要加大内存

export HADOOP_CLIENT_OPTS=-Xmx16384m

一定要弄的很大哦,要不容易爆。而且一定要有耐心,相信马上就更新完成。


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Hive是一个基于Hadoop的开源数据仓库工具,用于处理大规模的数据集。滚动升级是指在不中断现有的Hive服务和数据的情况下,将Hive升级到更高版本。下面是Hive滚动升级的一般步骤: 1.备份数据:在开始滚动升级之前,务必备份Hive元数据和数据。可以使用Hive metastore的导出功能来备份元数据,并将Hadoop集群上的Hive数据库目录复制到一个安全的位置。 2.安装新版本:下载并安装Hive的新版本,确保新版本与当前的Hadoop集群兼容。可以通过解压安装包或使用软件包管理器来安装新版本。 3.测试新版本:在进行正式升级之前,建议在一个测试环境中对新版本进行测试。可以使用一些示例查询和表来验证新版本是否正常工作。 4.停止Hive服务:在进行滚动升级之前,需要停止当前运行的Hive服务。可以使用以下命令停止Hive服务: hive --service hiveserver2 stop 5.升级元数据:在停止Hive服务后,需要升级Hive元数据。可以使用Hive元数据升级工具来完成此操作。运行升级工具时,需要指定先前备份的元数据路径。 6.修改配置文件(可选):在升级过程中,可能需要修改Hive的配置文件以适应新版本的要求。可以将先前备份的配置与新版本的配置进行比较,并进行相应的更改。 7.启动Hive服务:在完成元数据升级和配置修改后,可以启动Hive服务以使升级生效。可以使用以下命令启动Hive服务: hive --service hiveserver2 start 8.验证升级:一旦Hive服务启动,可以使用一些查询和操作来验证升级是否成功。可以确认数据可以正常读取和写入,并确保查询结果与预期一致。 滚动升级Hive时,需要非常小心并仔细遵循官方文档中的指导。此外,在进行升级之前,最好在一个测试环境中对整个过程进行实施并验证。如果升级出现任何问题,可以通过还原元数据和数据的备份来恢复到之前的状态。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值