Ad-Hoc Query入门

概念

Ad hoc is latin for “for this purpose”. You might call it an “on the
fly” query, or a “just so” query. It’s the kind of SQL query you just
loosely type out where you need it

在人可容忍的交互时间内(5秒内)，对于给定查询返回结果，典型应用场景为:

产品运营实时洞察
A/B Testing
用户增长领域

特点

(灵活性) 查询方式不固定，不能被预计算
(海量) 查询数据规模超出传统数据库可以承受的规模 (100亿+)
(实时) 可以查询到最近产生的数据, 这一点不同业务形态要求的实时性会有差别

实现

以下方案均以海量为前提，但是在灵活性和实时性方面有取舍。

方案 1: ElasticSearch
适用场景: 低查询耗时，实时，低灵活性，高成本 (土豪的选择)

方案 2: Spark + HDFS + ORC/Parquet
适用场景: 高查询耗时，非实时，高灵活性，低成本 (需要有 Table Compaction 流程)

方案 3: Impala + Kudu
适用场景: 低查询耗时，实时，低灵活性，低成本 (平衡之选)

方案 4: Impala + Alluxio + HDFS + ORC/Parquet
适用场景: 低查询耗时，非实时，低灵活性，高成本 (极致的快速)

方案 5: Druid
适用场景: 低查询耗时，实时，极低灵活性，高成本 (一般用于秒级聚合查询)

方案 6: Apache Kylin + Spark
适用场景: 低查询耗时，非实时，极低灵活性，低成本 (不要求实时的话，低成本方案)

方案 7: Spark + Kudu
适用场景: 高查询耗时，实时，高灵活性，低成本 (实时+灵活性的最佳选择，但性能会稍差)

参考

海量实时计算(Ad-Hoc Query) 概览 - 知乎

sql - What is Ad Hoc Query? - Stack Overflow