ODPS查询在java项目中如何避免心跳(select 1)造成的资源浪费

OPDS也叫MaxCompute,一个大数据技术服务,提供类似sql语法来进行查询等,具体介绍可以参考https://helpcdn.aliyun.com/document_detail/27800.html

之前sprint项目中遇到一个问题,使用odps-jdbc进行数据提取时会出现大量SELECT 1 的查询任务,这种情况造成几方面问题,1、大量的SELECT 1会导致正常业务查询的延迟和内存/CPU的浪费;2、opds请求有可能后续会被收费(目前查询流量是免费)

为了避免以上问题,首先想到了换一种调用方式,用odps-sdk-core来替换odps-jdbc,使用odps-sdk-core的方式则是将参数替换后的sql语句使用com.aliyun.odps.task.SQLTask.run(odps, sql)方法进行查询,返回结果统一是com.aliyun.odps.data.Record对象,但是这显然不能满足当前业务,原因:一是我们的查询语句复杂度往往很高,会有很多表和条件的结合查询,对于拼接完整的sql且参数替换是有一定的困难;二是我们每个查询返回的结果集都是针对不同业务的VO,使用Record对象去解析然后转换成想要的VO也是麻烦事。哦,对了,说下使用odps-jdbc的方便性,1、是配置方式几乎和mysql配置一样;2、是他可以结合MyBatis使用xml进行sql拼装。所以,我们就得想想SELECT 1这个请求是哪来的,能不能想办法处理掉。

首先,在项目中全局搜索了S

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值