【Gluten】Spark 的向量化执行引擎框架 Gluten

最新推荐文章于 2025-03-16 10:16:38 发布
最新推荐文章于 2025-03-16 10:16:38 发布
阅读量2.1k 收藏 9
点赞数 19
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45857154/article/details/137454385
版权
Gluten项目通过整合ApacheSpark与多种Native后端（如Velox、Clickhouse等），加速计算并支持数据格式转换，提供数据传输和内存管理优化。其FallbackProcessing机制确保兼容性，而glutenshuffle专注于列式数据shuffle。对于调试，支持跨Spark和Native库的排查。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Gluten 项目主要用于“粘合” Apache Spark 和作为 Backend 的 Native Vectorized Engine。Backend 的选项有很多，目前在 Gluten 项目中已经明确开始支持的有 Velox、Clickhouse 和 Apache Arrow。通过使用Native backend 执行计算，加速 Spark 执行速度，目前在TPCH 测试中使用 velox backend 得到了最多3.6倍加速。下图为 Gluten 整体架构
在这里插入图片描述

plan conversion

spark physical plan 作为输入，使用 substrait 将其转换为 substrait plan，substrait plan作为一个统一的执行计划传递给不同的 native library，在不同的 library 中执行相同的的 pipeline，使用 library自己的算子执行 pipeline
在这里插入图片描述

buffer passing & sharing

gluten 提供两种方法来进行 spark JVM 和 native engine 之间的数据传输，如下图所示

  1. 下图中的绿线。使用 apache arrow 作为内存数据格式，将 velox 中的 velox 格式数据转换为 arrow 格式，使用 arrowColumnarVec
最低0.47元/天 解锁文章
NEUpanning
关注
Spark向量化计算在美团生产环境的实践
美团技术团队
06-21 6424
Apache Spark是一个优秀的计算引擎，广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下，既可获得资源节省和加速作业执行。Gluten+Velox解决方案为Spark换上了向量化执行引擎，本文将阐述美团在这一方向的实践和思考，希望对大家有所帮助或启发。
Apache Spark 3.0 中的向量化 IO
过往记忆大数据
07-10 667
R 是数据科学中最流行的计算机语言之一，专门用于统计分析和一些扩展，如用于数据处理和机器学习任务的 RStudio addins 和其他 R 包。此外，它使数据科学家能够轻松地可视化他们...
SPARK的计算向量化-spark本身的向量化
monkeyboy_tech的博客
05-29 1340
背景 我们知道，随着计算引擎战争的结束（SPARK赢得了离线处理的霸权），越来越多的公司致力于性能的优化，而引擎的优化，目前直指计算的向量化， 这片文章来说说spark本身对于向量化的实现。 spark本身的优化 我们都知道spark的Tungsten项目，这个项目中有一点就是Code Generation（代码生成）。代码生成除了消除虚函数的调用等功能外，其实在向量化这块也是做了处理的。 直接跳到ColumnarToRowExec代码： val columnarBatchClz = classOf[Col
向量化执行引擎框架 Gluten 正式开源！
开源吞噬世界。
07-18 2318
Gluten 项目旨在为 Apache Spark 注入 Native Vectorized Execution 的能力，极大优化 Spark 的执行效率和成本。
Apache Gluten背景、解决问题、方案都有哪些
主要写大数据集群一线运维和学习工作经验
03-16 897
Apache Gluten 是近年来为解决 Spark 在 CPU 密集型场景下的性能瓶颈而诞生的开源项目，其核心思路是通过本地化（Native）引擎优化 Spark 的执行效率。随着 SSD 和万兆网卡的普及，IO 性能大幅提升，传统 Spark 作业的瓶颈逐渐从 IO 转向 CPU。然而，基于 JVM 的 Spark 在 CPU 指令级优化（如 SIMD）和内存管理（如 GC 开销）方面存在天然劣势。
快手自研Spark向量化引擎正式发布，性能提升200%
kuaishoutech的博客
09-14 6370
通过引入细粒度的FailBack机制，Blaze在翻译过程中遇到暂无Native实现的算子、单个表达式或UDF时，支持算子/单个表达式粒度的回退，能够灵活回退到Spark原生执行。Spark原生执行流程主要依赖于Java虚拟机（JVM）进行任务的执行，尽管JVM在提供跨平台、内存管理等方面有着卓越的表现，但在大数据处理场景下，尤其是涉及大规模数据计算和复杂查询时，JVM的性能开销可能会成为瓶颈。因此，我们将在之后加强Blaze开源社区的运营建设，积极构建一个开放、包容、协作的社区环境。
SPARK的计算向量化-已有的向量化项目
monkeyboy_tech的博客
05-30 3840
背景 在SPARK的计算向量化-spark本身的向量化中，我们提到spark是利用代码生成（生成for循环），从而JIT进行向量化。这是有局限的，所以大部分公司都会采用通过其他方式来进行向量化计算。 我们列举几种已知的应用到spark计算引擎的向量化技术。 Velox Meta（也就是Facebook）开源的一个C++实现的SQL执行引擎，输入逻辑执行计划，利用SIMD指令实现向量化操作，输出结果; 结合Apache Arrow作数据交换，可以实现Spark的计算向量化。 项目见facebookincuba
java中向量化_Apache Spark 3.0 中的向量化执行
weixin_33208553的博客
02-28 521
R 是数据科学中最流行的计算机语言之一，专门用于统计分析和一些扩展，如用于数据处理和机器学习任务的 RStudio addins 和其他 R 包。此外，它使数据科学家能够轻松地可视化他们的数据集。通过在 Apache当如果在 Spark 和 R 之间使用 Apache Arrow 来进行数据交换，其性能会有很大的提升。这篇博客文章概述了 SparkR 中 Spark 和 R 的交互，并对比了没有向...
Spark向量化计算在美团生产环境的实践7
macbookpro11的博客
12-16 751
i < num;++i) {计算在CPU内完成，逻辑计算单元操作寄存器中的数据，算术运算的源操作数要先放置到CPU的寄存器中，哪怕简单的内存拷贝也需要过CPU寄存器。加载（Load），从内存加载2个源操作数（a[i]和b[i]）到2个寄存器。计算（Compute），执行加法指令，作用于2个寄存器里的源操作数副本，结果产生到目标寄存器。存储（Store），将目标寄存器的数据存入（拷贝）到目标内存位置（c[i]）。
Spark向量化计算在美团生产环境的实践3
macbookpro11的博客
12-16 885
i < num;++i) {计算在CPU内完成，逻辑计算单元操作寄存器中的数据，算术运算的源操作数要先放置到CPU的寄存器中，哪怕简单的内存拷贝也需要过CPU寄存器。加载（Load），从内存加载2个源操作数（a[i]和b[i]）到2个寄存器。计算（Compute），执行加法指令，作用于2个寄存器里的源操作数副本，结果产生到目标寄存器。存储（Store），将目标寄存器的数据存入（拷贝）到目标内存位置（c[i]）。
Spark向量化计算在美团生产环境的实践14
ZWL53223456789的博客
12-16 637
i < num;++i) {计算在CPU内完成，逻辑计算单元操作寄存器中的数据，算术运算的源操作数要先放置到CPU的寄存器中，哪怕简单的内存拷贝也需要过CPU寄存器。加载（Load），从内存加载2个源操作数（a[i]和b[i]）到2个寄存器。计算（Compute），执行加法指令，作用于2个寄存器里的源操作数副本，结果产生到目标寄存器。存储（Store），将目标寄存器的数据存入（拷贝）到目标内存位置（c[i]）。
以下表达式x_PolarDB-X 向量化执行引擎（1）
weixin_39762075的博客
12-18 248
PolarDB-X是阿里巴巴自研的云原生分布式数据库，采用了计算-存储分离的架构，其中计算节点承担着大量的表达式计算任务。这些表达式计算涉及到SQL执行的各个环节，对性能有着重要的影响。为此PolarDB-X引入向量化执行引擎，为表达式计算带来了几十倍的性能提升。传统数据库执行器的缺陷现代数据库系统的执行引擎，大多采用一次计算一行数据（Tuple-at-a-time）的处理方式，并且需要在运行时对...
[openGauss] 向量化引擎
jerrywangcsdn的博客
08-30 372
openGauss提供向量化引擎，通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型，基本上都是采用顺序方式来访问表中大部分的数据，然后再进行计算，最后将计算结果输出给用户。
AnalyticDB向量化引擎
帅的数说
07-17 343
AnalyticDB是阿里云企业级云原生数据仓库，在GreenPlum和PostgreSQL基础上开发的。语法上对两者保持兼容，功能层面上为GP超集。其架构：这里重点关注他的向量化引擎。PG的执行引擎是Record-Oriented的火山模型，也就是面向行。ADB自研了Block-Oriented向量化执行引擎。对于Record-Oriented通过getNext()接口...
openGauss 向量化引擎
cindy__007的博客
11-08 323
可获得性本特性自openGauss 1.0.0版本开始引入。特性简介openGauss提供向量化引擎，通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型，基本上都是采用顺序方式来访问表中大部分的数据，然后再进行计算，最后将计算结果输出给用户。客户价值通过批量计算，大幅提高复杂类查询性能。特性描述传统的数据库查询执行都是采用一次一数组（tuple）的pipeline执行模式，因此CPU的大部分处理时间不是用来处理数据，而是遍历查询操作树。这种情况下CPU的有效利用率不高，同时也会导致低指
深度解读｜Spark 中 CodeGen 与向量化技术的研究
Dreamershi的专栏
11-21 1204
Spark 项目是在2010年左右开源出来的，越来越多的人了解到了 Spark 这个开源大数据项目的存在。从其诞生之初到如今 Spark 3.2.0 版本的发布，整个大数据圈中凡是用了 Spark 的公司和个人，都一直致力于对它的性能进行极致的优化。时至今日，国内外的各大厂商都把性能优化的矛头直指向量化技术，意图能够把 Spark 的性能完全压榨出来，让它能够更加逼近硬件的性能。
PG 向量化引擎--1
帅的数说
01-28 1383
PG 向量化引擎向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里进行整理，以作分析。作者邮件代码位于https://github.c...
KADB向量化执行引擎
liuzhiliang2010的博客
09-12 214
![](https://mmbiz.qpic.cn/sz_mmbiz_gif/ulXeJ6mYicWfrWaA80KWvG9IUnbV1QmlfRyicDfQyfqkqA3K2fhEWDSZxJGc3VxQMwvhjckNlVdfLrx20hrTAyPA/640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1) #**KADB向量化执行引擎技术** **随着企业的发展和数字化转型，企业的数据量越来越大， 数字化转型的加速推进，使得业
Photon引擎
最新发布
03-17
### Photon 引擎简介 Databricks 的 Photon 是一种高性能查询引擎，旨在显著提升 Apache Spark 的执行效率。该子系统的引入使得 Apache Spark 可以通过向量化执行和其他优化手段大幅提高其处理能力[^1]。 #### 向量化执行 Photon 使用了向量化执行技术，这是一种批量处理方法，能够一次性操作多个数据记录而不是逐条处理单个记录。这种方法减少了控制流开销，并充分利用现代 CPU 架构中的 SIMD（Single Instruction Multiple Data）指令集，从而提升了整体性能。 #### 集成与兼容性 尽管 Photon 提供了原生支持和高度优化的功能，但它仍然保持了与现有 Apache Spark 生态系统的完全兼容性。这意味着用户无需更改现有的工作负载即可享受更高的运行速度。这种无缝衔接的设计理念确保了迁移过程简单高效。 #### 性能改进 实验表明，在多种实际场景下应用 Photon 子系统后，Apache Spark 查询的整体响应时间得到了明显缩短。特别是在大规模数据分析任务中表现尤为突出，这得益于更高效的内存管理和更低的 I/O 成本。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Photon Example") \ .config("spark.sql.execution.arrow.pyspark.enabled", "true") \ .getOrCreate() df = spark.range(1 << 20).repartition(8) result = df.groupBy(df.id % 1000).count() result.show() ``` 上述代码片段展示了如何启用 Arrow 支持以及创建一个简单的 DataFrame 来测试 Photon 的性能优势。 ### 开发背景与其他方案对比 值得注意的是，虽然 Gluten 和 Photon 在某些方面存在相似之处——比如都追求极致的速度增益——但它们各自的发展路径却是相对独立完成的。然而从行业趋势来看，除非具备极高的性价比或者特殊需求驱动，自行研发执行引擎往往并不是明智之举；相反，合理评估并灵活选用不同的开源解决方案才是更为现实的选择策略[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值