【presto】presto通过hive读取hdfs子目录数据问题

5 篇文章 0 订阅
3 篇文章 0 订阅

团队成员在做存储时遇到一个问题,在hdfs目录写了数据后,使用hive外部表挂载,挂载的目录如下/datamart-kafka-compare-OUT/datamart_kafka_compare_OUT/T_626

而实际在T_626目录下还不是文件,还是目录(忽略红框这条,这条是后来从子目录拷贝出来的),如此在presto查询时,使用count查出来数据为0,而hive查询可以查出数据。

presto查询略过,数据为0

hive查询结果

为了测试是否是无法读取子目录的问题,把红框这个文件拷贝到表的根目录,再查询,确实有数据了

那么可以判断就是presto无法读取子目录数据的问题了。赶紧网上查找资料,很巧,没查几分钟就出现了类似答案

https://github.com/prestodb/presto/issues/1285

对于presto是否读取子目录有一个配置hive.recursive-directories=true,默认为false,需要显式设置到hive.properties

重启presto,再查询,成功!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值