BDK | 资源如何进行分配才高效？

其实资源是有限的，如何做好资源分配显得十分重要，对系统性能的提升有极大的帮助，有几种办法可以了解一下：

剥离计算资源

使用者在使用我们提供的接口获取数据，会进行很多的数据聚合工作，比如统计过去1年的销量、过去1周销量TopK的商品之类的，也有涉及很多更加复杂的指标计算。

如果每次遇到这种如此复杂的计算都要放在接口调用的时候处理，那么计算成本是十分昂贵的，所以可以剥离复杂的计算统计逻辑，并交由底层的数据公共层进行处理，保留核心的业务处理逻辑，这样子其实对于我们的资源高效应用极有裨益。

查询资源分配

查询接口分为两种：Get接口和List接口。

前者的查询速度较快，后者较慢，所以一般情况下我们都不会把这两种查询放在同一个线程下，这样子QPS会很不理想。我们会设计两个独立的线程池： Get线程池和List线程池。

QPS：（Query Per Second）每秒钟request/事务 数量

执行计算优化

1）查询拆分

我们提供给使用者的接口指标都是一些逻辑字段，调用者不需要关心它到底是对应哪些物理字段。引擎层会将将用着的请求拆分为一些独立的查询，分别去进行物流表查询，最后合并结果对外输出。

2）查询优化

因为接口使用者可能分不清啥时候用Get会高效于List接口，所以为了简单起见，都统一用List一种接触查询了，这样子做很多时候会导致本来可以很快就返回查询结果的都在排队了。

查询优化就是分析使用者的SQL语句，然后就可以转化为Get查询的List查询进行优化，从而提高性能。具体的步骤如下：

① 解析SQL中的WHERE子句，提取出筛选字段以及筛选条件

② 加入筛选字段中包含了该逻辑表的所有主键，且筛选条件都为”=“，那么返回的记录数量肯定就是1条了，这个时候就可以进行优化了。

往 期 内 容

BDK | 数据如何进行同步才好呢？

BDK | 一起来学习大数据和数据仓库吧！

BDK | 日志是怎么进行采集的？

BigData | Beam的基本操作（PCollection）

BigData | Apache Beam的诞生与发展

BigData | 优秀的流处理框架 Flink

BigData | 一文带你搞清楚"数据倾斜"

BigData | 流处理？Structured Streaming了解一下

BigData | 述说Apache Spark

BigData | 大数据处理技术谁领风骚？

BigData | 大数据处理基本功（上）

BigData | 大数据处理基本功（下）