从 TPCH 测试学习性能优化技巧之 Q3

一、     查询要求

 

Q3语句查询得到收入在前10位的尚未运送的订单。在指定的日期之前还没有运送的订单中具有最大收入的订单的运送优先级（订单按照收入的降序排序）和潜在的收入（潜在的收入为l_extendedprice * (1-l_discount)的和）。

Q3语句的特点是：带有分组、排序、聚集操作并存的三表查询操作。查询语句没有从语法上限制返回多少条元组，TPC-H标准规定，查询结果只返回前10行（通常依赖于应用程序实现）。

 

 

二、     Oracle执行

 

Oracle编写的查询SQL语句如下：

select * from (

         select /*+ parallel(n) */

                   l_orderkey,

                   sum(l_extendedprice * (1 - l_discount)) as revenue,

                   o_orderdate,

                   o_shippriority

         from

                   customer,

                   orders,

                   lineitem

         where

                   c_mktsegment = 'BUILDING'

                   and c_custkey = o_custkey

                   and l_orderkey = o_orderkey

                   and o_orderdate < date '1995-03-15'

                   and l_shipdate > date '1995-03-15'

         group by

                   l_orderkey,

                   o_orderdate,

                   o_shippriority

         order by

                   revenue desc,

                   o_orderdate

) where rownum<=10;

其中/*+ parallel(n) */ 是Oracle的并行查询语法，n是并行数。

脚本执行时间，单位：秒

并行数	1	2	4	8	12
Oracle	635	349	312	220	222

 

 

三、     SPL优化

 

这是典型的主子表关联，SQL实现JOIN一般使用HASH算法，比较次数较多，在关联两表的数据均大于内存时还要做分段HASH，很难实现并行。

主子表的主键经过排序后，可以采用有序归并的算法实现关联，比较次数要少很多，而且无论数据量大小都很容易并行，SPL即支持这种写法。

 

另外，本例SQL的GROUP BY子句中有三个字段：L_ORDERKEY、O_ORDERDATE、O_SHIPPRIORITY，原因是结果集中要输出这三个字段。但事实上，后两个字段可以被第一个字段决定，只要针对第一个字段进行分组，另两个字段可根据第一个字段计算出来，不需要一起参与分组。这样，在分组时的HASH计算和比对量都会少很多。

但是，SQL没办法写出这样的语法，只能把三个字段都写进GROUP BY。SPL则可以写出这样的分组语法，减少计算量。

 

SPL脚本如下：

	A
1	=1
2	>mktsegment="BUILDING"
3	>date=date("1995-03-15")
4	=now()
5	=file(path+"customer.ctx").create().cursor@m(C_CUSTKEY;C_MKTSEGMENT==mktsegment;A1).fetch().keys@i(C_CUSTKEY)
6	=file(path+"orders.ctx").create().cursor@m(O_ORDERKEY,O_ORDERDATE,O_SHIPPRIORITY;O_ORDERDATE<date   && A5.find(O_CUSTKEY);A1)
7	=file(path+"lineitem.ctx").create().news(A6,L_ORDERKEY,L_EXTENDEDPRICE,L_DISCOUNT,O_ORDERDATE,O_SHIPPRIORITY;L_SHIPDATE>date)
8	=A7.groups@o(L_ORDERKEY;sum(L_EXTENDEDPRICE   * (1-L_DISCOUNT)):revenue,O_ORDERDATE,O_SHIPPRIORITY)
9	=A8.sort(revenue:-1,O_ORDERDATE).to(10)
10	=now()
11	=interval@s(A4,A10)

A7中对主子表做有序归并时，因为主表order已被过滤，而主子表的主键同序，这时可以用news方法读取子表时跳过主表中已经过滤掉的键值，从而减少子表的读取量。

需要强调的是，lineitem必须按orders匹配的方法分段存储，即开始准备数据时lineitem创建组表需要按L_ORDERKEY分段，这样才能保证并行分段时不会错位关联。

 

A8的groups函数中使用了@o选项，这是因为我们知道连接后的结果集对L_ORDERKEY是有序的，因此可以使用有序分组的方法，这样分组时只需要和上一条记录进行比对，而不需要象常规分组时做hash计算和比对，计算性能要好得多。

如前所述，这里的groups函数需要对L_ORDERKEY这一个字段分组，其它两个字段可以直接取出，不需要再进行比对。

 

A7也使用了前面题目中说过的游标建立时过滤的技巧。在A6中也有这种技巧，其中的A5.find，表示只需要把外键不匹配的记录过滤掉，而不需要再转换成指针。

 

脚本执行时间，单位：秒

并行数	1	2	4	8	12
Oracle	635	349	312	220	222
SPL组表	186	100	50	30	21

可以看出，SPL的并行效果很好，接近线性提速。同时，这里涉及大数据量，列存也能发挥作用。