工具的力量

最近半年的工作都集中在 SQL 分布式执行框架（Parallel eXecution Framework），代码写得差不多了，测试成头等大事。不测试充分无法上线，所有工作都无法兑现成价值。

如何测试呢？我们分为三个阶段：编码阶段、功能测试阶段、性能测试阶段

在编码阶段，手动测试是王道。根据实现的功能针对性写小测试，可以快速验证编码正确性。但手动测试的局限在于覆盖场景非常有限，会遗漏大量场景。所以，后期需要成规模的功能测试介入。

当编码基本完成后，进入功能测试阶段。这个阶段的目的是发现软件中隐藏的绝大多数功能缺陷。为达到这个目的，需要丰富的用例覆盖。我们取了个巧，用非常非常小的代价实现了分布式框架的功能测试覆盖。

mysqltest 里包含了丰富的 SQL 功能测试用例，如果能把这些用例移植到分布式执行场景，一定可以获得非常好的效果。我们通过修改 mysqltest.cc，只增加 20 行代码，将测试用例中的所有 select 语句都转换成分布式模式执行，获得几百个有效的、场景丰富的分布式执行测试用例。

新工具刚刚上线，就发现数个框架 bug，真可谓四两拨千斤！这种感觉，让我想起当年将 pquery 引入到测试体系中的感觉，一跑就 N 个 core，爽得不要不要的 ^_^ 。 pquery 也是围绕 mysqltest 测试集做文章，随机读取 mysqltest 中的语句乱序执行。就这么简单，但效果出奇的好，还是全程无人值守。直到今天， pquery 还在为 OceanBase 默默贡献 bug，正所谓吃进去的是电，吐出来的是 bug。

性能测试阶段，我们计划使用 tpch 1G、100G 数据集来做。大数据量场景下能有效放大性能问题，非常有效！