Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table

Spark SQL 可以将数据缓存到内存中，我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中，来极大的提高查询效率。

    这就涉及到内存中的数据的存储形式，我们知道基于关系型的数据可以存储为基于行存储结构 或 者基于列存储结构，或者基于行和列的混合存储，即Row Based Storage、Column Based Storage、 PAX Storage。

    Spark SQL 的内存数据是如何组织的？

    Spark SQL 将数据加载到内存是以列的存储结构。称为In-Memory Columnar Storage。

    若直接存储Java Object 会产生很大的内存开销，并且这样是基于Row的存储结构。查询某些列速度略慢，虽然数据以及载入内存，查询效率还是低于面向列的存储结构。

基于Row的Java Object存储：

内存开销大，且容易FULL GC，按列查询比较慢。

基于Column的ByteBuffer存储(Spark SQL)：

内存开销小，按列查询速度较快。

    Spark SQL的In-Memory Columnar Storage是位于spark列下面org.apache.spark.sql.columnar包内:

    核心的类有 ColumnBuilder,  InMemoryColumnarTableScan, ColumnAccessor, ColumnType.

    如果列有压缩的情况：compression包下面有具体的build列和access列的类。

    

一、引子

    当我们调用spark sql 里的cache table command时，会生成一CacheCommand，这个Command是一个物理计划。

 

scala> val cached = sql("cache table src")

1. cached: org.apache.spark.sql.SchemaRDD =

2. SchemaRDD[0] at RDD at SchemaRDD.scala:103

3. == Query Plan ==

4. == Physical Plan ==

5. CacheCommand src, true

 

这里打印出来tableName是src， 和一个是否要cache的boolean flag.

我们看下CacheCommand的构造：

CacheCommand支持2种操作，一种是把数据源加载带内存中，一种是将数据源从内存中卸载。

对应于SQLContext下的cacheTable和uncacheTabele。 

 

1. case class CacheCommand(tableName: String, doCache: Boolean)(@transient context: SQLContext)

2. extends LeafNode with Command {

3.  

4. override protected[sql] lazy val sideEffectResult = {

5. if (doCache) {

6. context.cacheTable(tableName) //缓存表到内存

7. } else {

8. context.uncacheTable(tableName)//从内存中移除该表的数据

9. }

10. Seq.empty[Any]

11. }

12. override def execute(): RDD[Row] = {

13. sideEffectResult

14. context.emptyResult

15. }

16. override def output: Seq[Attribute] = Seq.empty

17. }

如果调用cached.collect(),则会根据Command命令来执行cache或者uncache操作，这里我们执行cache操作。

 

cached.collect()将会调用SQLContext下的cacheTable函数：

 

首先通过catalog查询关系，构造一个SchemaRDD。

1. /** Returns the specified table as a SchemaRDD */

2. def table(tableName: String): SchemaRDD =

3. new SchemaRDD(this, catalog.lookupRelation(None, tableName))

找到该Schema的analyzed计划。匹配构造InMemoryRelation：

 

 

1. /** Caches the spec