关闭

hive 元数据升级

2552人阅读 评论(3) 收藏 举报
分类:

hadoop集群升级到HA模式,core-site.xml 的配置:fs.defaultFS 会变成 hdfs://clusterid 的形式,与之前的 hdfs://{namenode hostname} 的形式有很大的区别。

而对于hive旧的matadata,表的存储路径还是hdfs://{namenode hostname} 会造成,从hdfs上load到表的时候出现类似问题:


 Move from: hdfs://qunarcluster/export/wirelessdev/log/etl/touchweb/2013/12/03/15/l-tc3.wap.cn1/part-00000.gz to:
 hdfs://l-hdpm1.data.cn6.qunar.com/user/hive/warehouse/wirelessdata.db/hive_etl_touch/dt=2013-12-03/hour=15/logtype=l-tc3.wap.cn1
 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict

这个问题解决方法:http://stackoverflow.com/questions/19431074/hive-not-fully-honoring-fs-default-name-fs-defaultfs-value-in-core-site-xml



但是在metatool -updateLocation 的时候很容易爆内存,一定要加大内存

export HADOOP_CLIENT_OPTS=-Xmx16384m

一定要弄的很大哦,要不容易爆。而且一定要有耐心,相信马上就更新完成。


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:229204次
    • 积分:3223
    • 等级:
    • 排名:第10618名
    • 原创:85篇
    • 转载:25篇
    • 译文:1篇
    • 评论:77条
    文章分类
    最新评论