OPDS也叫MaxCompute,一个大数据技术服务,提供类似sql语法来进行查询等,具体介绍可以参考https://helpcdn.aliyun.com/document_detail/27800.html。
之前sprint项目中遇到一个问题,使用odps-jdbc进行数据提取时会出现大量SELECT 1
的查询任务,这种情况造成几方面问题,1、大量的SELECT 1
会导致正常业务查询的延迟和内存/CPU的浪费;2、opds请求有可能后续会被收费(目前查询流量是免费)
为了避免以上问题,首先想到了换一种调用方式,用odps-sdk-core来替换odps-jdbc,使用odps-sdk-core的方式则是将参数替换后的sql语句使用com.aliyun.odps.task.SQLTask.run(odps, sql)方法进行查询,返回结果统一是com.aliyun.odps.data.Record对象,但是这显然不能满足当前业务,原因:一是我们的查询语句复杂度往往很高,会有很多表和条件的结合查询,对于拼接完整的sql且参数替换是有一定的困难;二是我们每个查询返回的结果集都是针对不同业务的VO,使用Record对象去解析然后转换成想要的VO也是麻烦事。哦,对了,说下使用odps-jdbc的方便性,1、是配置方式几乎和mysql配置一样;2、是他可以结合MyBatis使用xml进行sql拼装。所以,我们就得想想SELECT 1
这个请求是哪来的,能不能想办法处理掉。
首先,在项目中全局搜索了S