hive相关踩雷点

一、 location 参数

定义:用于hive创建表时,指定真实数据的存储位置,必须具体到表名(文件名)。

如果在创建表时,使用了 location 参数,但未指定到具体表名,例如

CREATE TABLE `tb1`(

column1 string

...

)

LOCATION

  'hdfs://test1/test'

test1为项目空间,test是一个目录,下边有其他文件(其他表的真实数据)

这时,刚创建的表的真实数据存储位置被定义到test目录下,原目录下的会被覆盖,此时如果删除新创建的表 tb1 ,会导致原来test目录下的所有数据都被删除。

二、hiveServer2

1.多线程使用同一个 connection 执行 SQL 会造成内存泄漏--只会回收最后一个 queryId ;参考文章《HiveServer2 内存泄漏问题定位与优化方案-hiveserver2内存溢出》。

2.hiveServer2关闭后,仍会有一些tcp等待连接,延长重启时间可解决。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值