【Gluten】Spark 的向量化执行引擎框架 Gluten

Gluten 项目主要用于“粘合” Apache Spark 和作为 Backend 的 Native Vectorized Engine。Backend 的选项有很多，目前在 Gluten 项目中已经明确开始支持的有 Velox、Clickhouse 和 Apache Arrow。通过使用Native backend 执行计算，加速 Spark 执行速度，目前在TPCH 测试中使用 velox backend 得到了最多3.6倍加速。下图为 Gluten 整体架构

plan conversion

spark physical plan 作为输入，使用 substrait 将其转换为 substrait plan，substrait plan作为一个统一的执行计划传递给不同的 native library，在不同的 library 中执行相同的的 pipeline，使用 library自己的算子执行 pipeline

buffer passing & sharing

gluten 提供两种方法来进行 spark JVM 和 native engine 之间的数据传输，如下图所示

1. 下图中的绿线。使用 apache arrow 作为内存数据格式，将 velox 中的 velox 格式数据转换为 arrow 格式，使用 arrowColumnarVec