sqlalchemy查询kylin返回结果不全

背景

近日发现返回的维度不全,排查了一天,逻辑并没有错误,但是结果就是不全。

排查过程

  1. 在kylin先查询原始的SQL语句,返回结果又40w条数据。
  2. 但是在程序中查询SQL仅仅返回5w。
    正好的5w条数据,所以可以判断是数据被截断了,导致有一部分数据被返回,还有一部分数据被截断了,所以没了。

解决方法

  1. 修改kylin的配置。
  2. 优化自己查询代码,先聚合好再查出来。
  3. 在sql的末尾添加limit 1000000;因为之前没有指定limit的数量所以为默认的数量,如果指定limit的数量就不会截断

看到这里你应该会想揍我一顿,因为我选择了方法2,提升了查询效率还减少一部分运算。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值