本文对比了Spark SQL和Kylin在处理10亿+数据量的即席查询时的差异和优势。Spark SQL基于MPP，适合内存中的数据，而Kylin利用Cube预处理，适用于大规模数据。尽管Spark SQL有缓存机制，但对SQL支持和大型数据集的处理不如Kylin。Kylin的查询性能优秀，但需要较长的预处理时间和更多磁盘空间。根据应用场景，如数据实时性需求和查询复杂性，可以选择适合的工具。
SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下：
>
MPP [1]
的基本思路是增加机器来并行计算，从而提高查询速度。比如扫描8亿记录一台机器要处理1小时，但如果用100台机器来并行处理，就只要一分钟不到。再配合
列式存储和一些索引，查询可以更快返回。要注意这里在线运算量并没有减小，8亿条记录还是要扫描一次，只是参与的机器多了，所以快了。
>
MOLAP Cube [2][3]
是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。8亿记录的一个3维索引可能只有几万条记录，规模大大缩
小，所以在线计算量大大减小，查询可以很快。索引表也可以采用列存储，并行扫描等MPP常用的技术。但多维索引要对多维度的各种组合作预计算，离线建索引
需要较大计算量和时间，最终索引也会占用较多磁盘空间。
除
了有无预处理的差异外，SparkSQL与Kylin对数据集大小的偏好也不一样。如果数据可以基本放入内存，Spark的内存缓存会让SparkSQL
有好的表现。但对于超大规模的数据集，Spark也
最低0.47元/天 解锁文章
扫一扫
1379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
