sqoop导出数据到hive使用desc formatted查询表numRows为0

目前是在做数仓,有个需求就是要展示ods层的总数据量,需要拿到每个表的总行数,如果每张表都要计算的话效率太低,所以想通过表的元数据拿到表的总行数,再做一个累加。前期是因为大量的业务表都存在mysql中,现在全部通过sqoop迁移到了hadoop平台,但是后来通过desc formatted查询的的时候发现里面的numRows是0,就非常不解,后来去各处查找资料发现是因为Hive表的统计信息未被正确更新所导致的,需要手动更新Hive表的统计信息。

命令如下:

1. 非分区表

analyze table 表名 compute statistics;

2. 分区表

analyze  table 表名 partition(分区字段) compute statistics;

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值