hive 元数据升级

原创 2013年12月05日 11:41:21

hadoop集群升级到HA模式,core-site.xml 的配置:fs.defaultFS 会变成 hdfs://clusterid 的形式,与之前的 hdfs://{namenode hostname} 的形式有很大的区别。

而对于hive旧的matadata,表的存储路径还是hdfs://{namenode hostname} 会造成,从hdfs上load到表的时候出现类似问题:


 Move from: hdfs://qunarcluster/export/wirelessdev/log/etl/touchweb/2013/12/03/15/l-tc3.wap.cn1/part-00000.gz to:
 hdfs://l-hdpm1.data.cn6.qunar.com/user/hive/warehouse/wirelessdata.db/hive_etl_touch/dt=2013-12-03/hour=15/logtype=l-tc3.wap.cn1
 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict

这个问题解决方法:http://stackoverflow.com/questions/19431074/hive-not-fully-honoring-fs-default-name-fs-defaultfs-value-in-core-site-xml



但是在metatool -updateLocation 的时候很容易爆内存,一定要加大内存

export HADOOP_CLIENT_OPTS=-Xmx16384m

一定要弄的很大哦,要不容易爆。而且一定要有耐心,相信马上就更新完成。


相关文章推荐

Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conf

http://blog.sina.com.cn/s/blog_8026da3a0101dimq.html

hive load from hdfs出错

使用hive load从hdfs中load data的时候,hiveql如下: load data inpath 'hdfs://192.168.0.131:9000/hive/test.log' ...
  • p_3er
  • p_3er
  • 2013年07月03日 16:03
  • 4732

SQOOP导入hive表报错

sqoop:/sqoop-1.4.6/bin/sqoop import --connect jdbc:oracle:thin:@10.100.100.100:1521:orcl --username ...

Impala实践之二:Hive元数据

0x00 前言深入学习Impala的最主要一个原因就是目前在使用Impala的时候遇到了各种了性能问题,之前定位过一次问题,猜测其性能损耗的一个主要原因在INVALIDATE METADATA和-r参...

hive元数据生成建表语句

  • 2015年01月26日 13:50
  • 1.79MB
  • 下载

hive元数据导入sql生成工具

  • 2015年03月26日 18:01
  • 1.97MB
  • 下载

hive修改MySQL里的元数据删除分区

hive修改MySQL里的元数据删除分区

从mysql层面删除hive元数据

由于之前配置了hive,hdfs 被格式化了,导致现在hive上原来的元数据没有清理掉。  由于hive 上所有元数据均保存在mysql中,所以,可以从mysql上删除表相关信息即可删除hive表,...

Hadoop Hive sql语法详解3--DML 操作:元数据存储

hive增删改查与传统数据的区别是什么? hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改...

hive 元数据解析

转自:http://www.tbdata.org/archives/939在使用hive进行开发时,我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。要...
  • wf1982
  • wf1982
  • 2011年07月29日 14:47
  • 15640
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive 元数据升级
举报原因:
原因补充:

(最多只允许输入30个字)