在 Spark 3.0 上实现 GPU 加速 ETL

>>>>

点击上方蓝字关注我们，获取最新技术资讯

开源大数据社区 & 阿里云 EMR 系列直播 第三期

主题：在 Spark3.0 上实现 GPU 加速 ETL

讲师：沈国一(Gary)，Nvidia Manager 

主要内容：

• 用于 Apache Spark 3.0 的 RAPIDS 加速器

• 工作原理

• GPU 处理加速的一些技术

• 性能测试结果

直播回放：点击阅读全文，或扫描文章底部二维码加入钉群观看回放

- 前言 -

Spark 3.0 开始支持了数据的列式处理，同时能够将 GPU 作为资源进行调度。在此基础上，Nvidia/Spark-Rapids 开源项目基于 Rapids 库, 以 plugin 的方式提供了一组 GPU 上实现的 ETL 处理，利用 GPU 强大的并发能力加速 Join ,  Sort ,  Aggregate 等常见的 ETL 操作。

本次分享主要介绍该开源项目和目前取得的一些进展，以及使用到的一些相关技术。

- 直播内容概览 -

使用 RAPIDS 加速 Apache Spark 3.0

• Apache Spark在现代企业中的应用

• 结合 NVIDIA GPU 的 Spark 3.0

• 为什么要迁移到 Spark 3.0

• 英伟达提供 GPU 加速的 APACHE SPARK

• 那么它是如何工作的？

• SPARK SQL & DATAFRAME 编译流程图

• SPARK SQL & DATAFRAME 编译流程图

• 适合 GPU 的场合

-高散列度数据的 joins

-高散列度数据的 aggregates

-高散列度数据的 sort

-Window operations  (特别是大型 windows)

-复杂计算

-数据编码（创建 Parquet 和 ORC 文件 读取 CSV)

• 并非适合于所有场合

GPU 处理加速的一些技术

• 加速 SHUFFLE

• UDF 的部分支持

• SCALA / JAVA / HIVE UDF 支持

-提供 Scala/Java/Hive 定义的 UDF

-调用已有 cuDF 提供的 Java API 执行 GPU 处理

-自定义 GPU native 处理

-详细参考：rapids accelerated user defined functions

• 其他技术-加速 GPU 处理

-小文件读取时，采用多线程并行以及合并 ( coalesce ）

-GPU 内存不够时， spill 到 Host 内存和磁盘

-采用最新的 Gpu Direct Storage 技术，加快 GPU 内存到磁盘 NVMe 的 I/O

SPARK 3.0 性能测试结果

对以上相关内容感兴趣，可以点击阅读全文，或扫描文章底部二维码加入钉群观看回放~

END

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区，定期推送精彩案例，技术专家直播，问答区Spark技术同学在线提问答疑，只为营造纯粹的Spark氛围，欢迎钉钉扫码加入！

????戳阅读原文，快速回看直播视频~