Spark3 使用 NVIDIA GPU 计算

最新推荐文章于 2024-05-16 21:51:17 发布
最新推荐文章于 2024-05-16 21:51:17 发布
阅读量822 收藏 5
点赞数
分类专栏： SPARK 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43235686/article/details/130729281
版权

前言

首先看官方给出的性能差距图，从图中可以看出性能确实有质的飞跃
perf-cost[1].png
由于没有专业的显卡，我只能拿出家用 RTX 2060进行测试，测试环境如下

  1. CentOS 7
  2. CPU(i7-10700)
  3. GPU(RTX 2060 -> 6G)
  4. 内存(16G)

环境准备

  1. Spark3+
  2. NVIDIA GPU驱动(linux)
  3. cuda 11.8
  4. Spark-rapids
  5. TPC-DS
  6. Miniconda (Python3.9+)

本文采用 NVIDIA官方 spark-rapids 技术进行GPU加速测试
官方给出的环境要求：
To enable GPU processing acceleration you will need:

  • Apache Spark 3.1+
  • A Spark cluster configured with GPUs that comply with the requirements for RAPIDS.
    • One GPU per executor.
  • The RAPIDS Accelerator for Apache Spark plugin jar.
  • To set the config spark.plugins to com.nvidia.spark.SQLPlugin

环境安装

NVIDIA GPU驱动安装

检查环境
sudo yum install pciutils

[root@nebula3 nds]# lspci | grep -i vga
01:00.0 VGA compatible controller: NVIDIA Corporation TU106 [GeForce RTX 2060 Rev. A] (rev a1)

然后在官网上下载适用于CentOS系统的英伟达显卡驱动(选择对应的显卡型号)：https://www.nvidia.cn/geforce/drivers/
或者直接下载 cuda 驱动

linux上多个CUDA切换使用（小白教程）

安装需要的环境
# 1.禁用Nouveau驱动，打开终端，执行命令
sudo echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
# 2.更新内核驱动，执行命令：
sudo yum update

# 3.安装依赖包，执行命令：
sudo yum install gcc kernel-devel kernel-headers

# 4.关闭X Server服务，执行命令：
sudo service stop lightdm

# 5.进入命令行模，命令：
sudo init 3
# 如果在这一步无法安装 NVIDIA 驱动，请重启电脑并查看 nouveau 是否完全关闭
# lsmod | grep nouveau

# 6.运行安装包，执行命令：
sudo sh NVIDIA-Linux-x86_64-*-run

# 7.安装完成后，重启系统，执行命令：
sudo reboot

# 8.启动系统后，检查显卡驱动是否安装成功，执行命令：
nvidia-smi

可查看完整安装教程 ：CentOS 7.6安装 NVIDIA 独立显卡驱动（完整版）

cudf安装(可选-主要针对 Python)

rapidsai / cudf

conda install -c rapidsai -c conda-forge -c nvidia \
    cudf=23.06 python=3.10 cudatoolkit=11.8

测试流程

参考教程

首先看官方给出的性能差距图，从图中可以看出性能确实有质的飞跃
perf-cost[1].png
由于没有专业的显卡，我只能拿出家用 RTX 2060进行测试，测试环境如下

  1. CentOS 7
  2. CPU(i7-10700)
  3. GPU(RTX 2060 -> 6G)
  4. 内存(16G)

环境准备

  1. Spark3+
  2. NVIDIA GPU驱动(linux)
  3. cuda 11.8
  4. Spark-rapids
  5. TPC-DS
  6. Miniconda (Python3.9+)

本文采用 NVIDIA官方 spark-rapids 技术进行GPU加速测试
官方给出的环境要求：
To enable GPU processing acceleration you will need:

  • Apache Spark 3.1+
  • A Spark cluster configured with GPUs that comply with the requirements for RAPIDS.
    • One GPU per executor.
  • The RAPIDS Accelerator for Apache Spark plugin jar.
  • To set the config spark.plugins to com.nvidia.spark.SQLPlugin

环境安装

NVIDIA GPU驱动安装

检查环境
sudo yum install pciutils

[root@nebula3 nds]# lspci | grep -i vga
01:00.0 VGA compatible controller: NVIDIA Corporation TU106 [GeForce RTX 2060 Rev. A] (rev a1)

然后在官网上下载适用于CentOS系统的英伟达显卡驱动(选择对应的显卡型号)：https://www.nvidia.cn/geforce/drivers/
或者直接下载 cuda 驱动

linux上多个CUDA切换使用（小白教程）

安装需要的环境
# 1.禁用Nouveau驱动，打开终端，执行命令
sudo echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
# 2.更新内核驱动，执行命令：
sudo yum update

# 3.安装依赖包，执行命令：
sudo yum install gcc kernel-devel kernel-headers

# 4.关闭X Server服务，执行命令：
sudo service stop lightdm

# 5.进入命令行模，命令：
sudo init 3
# 如果在这一步无法安装 NVIDIA 驱动，请重启电脑并查看 nouveau 是否完全关闭
# lsmod | grep nouveau

# 6.运行安装包，执行命令：
sudo sh NVIDIA-Linux-x86_64-*-run

# 7.安装完成后，重启系统，执行命令：
sudo reboot

# 8.启动系统后，检查显卡驱动是否安装成功，执行命令：
nvidia-smi

可查看完整安装教程 ：CentOS 7.6安装 NVIDIA 独立显卡驱动（完整版）

cudf安装(可选-主要针对 Python)

rapidsai / cudf

conda install -c rapidsai -c conda-forge -c nvidia \
    cudf=23.06 python=3.10 cudatoolkit=11.8

测试流程

参考教程

  1. 如何开始使用 GPU 加速的 Spark 3？ | NVIDIA
  2. GitHub - NVIDIA/spark-rapids-benchmarks: Spark RAPIDS Benchmarks – benchmark sets and utilities for the RAPIDS Accelerator for Apache Spark
  3. spark-rapids

按照 https://github.com/NVIDIA/spark-rapids-benchmarks/nds 官方教程走就行
大概步骤如下：

  1. 安装 TPC-DS，随机生成数据
  2. 下载 spark-rapids.jar https://nvidia.github.io/spark-rapids/docs/archive.html，并设置环境变量；spark运行参数，请查看 base.template 和 convert_submit_*.template

性能报告

CPU(i7-10700)

Spark configuration follows:

('spark.driver.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.executor.id', 'driver')
('spark.driver.memory', '10G')
('spark.executor.instances', '8')
('spark.driver.port', '42825')
('spark.app.submitTime', '1684138774104')
('spark.app.id', 'local-1684138775340')
('spark.executor.cores', '12')
('spark.executor.memory', '16G')
('spark.rdd.compress', 'True')
('spark.executor.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.app.name', 'NDS - transcode - parquet')
('spark.serializer.objectStreamReset', '100')
('spark.sql.warehouse.dir', 'file:/root/spark/test/spark-rapids-benchmarks/nds/spark-warehouse')
('spark.sql.shuffle.partitions', '200')
('spark.master', 'local[*]')
('spark.submit.pyFiles', '')
('spark.submit.deployMode', 'client')
('spark.app.startTime', '1684138774633')

image.png

GPU(RTX 2060 - 6G)

Spark configuration follows:

('spark.app.startTime', '1684293945663')
('spark.driver.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.jars', 'file:///root/spark/test/spark-rapids-benchmarks/nds/rapids-4-spark_2.12-23.04.1.jar')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.incompatibleOps.enabled', 'true')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.driver.user.timezone', 'Asia/Shanghai')
('spark.driver.port', '37812')
('spark.rapids.driver.user.timezone', 'Asia/Shanghai')
('spark.app.submitTime', '1684293945280')
('spark.executor.resource.gpu.discoveryScript', './getGpusResources.sh')
('spark.executor.cores', '12')
('spark.executor.memory', '16G')
('spark.sql.warehouse.dir', 'file:/root/spark/test/spark-rapids-benchmarks/nds/spark-warehouse')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.explain', 'NOT_ON_GPU')
('spark.app.name', 'NDS - transcode - parquet')
('spark.serializer.objectStreamReset', '100')
('spark.files', 'file:///root/spark/spark-3.3.2-bin-hadoop3/examples/src/main/scripts/getGpusResources.sh')
('spark.sql.shuffle.partitions', '200')
('spark.master', 'local[*]')
('spark.submit.deployMode', 'client')
('spark.sql.legacy.parquet.datetimeRebaseModeInWrite', 'CORRECTED')
('spark.sql.extensions', 'com.nvidia.spark.rapids.SQLExecPlugin,com.nvidia.spark.udf.Plugin,com.nvidia.spark.rapids.optimizer.SQLOptimizerPlugin')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.variableFloatAgg.enabled', 'true')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.concurrentGpuTasks', '2')
('spark.rapids.memory.pinnedPool.size', '8g')
('spark.rapids.sql.incompatibleOps.enabled', 'true')
('spark.executor.id', 'driver')
('spark.app.id', 'local-1684293946417')
('spark.executor.instances', '8')
('spark.driver.memory', '10G')
('spark.app.initial.file.urls', 'file:///root/spark/spark-3.3.2-bin-hadoop3/examples/src/main/scripts/getGpusResources.sh')
('spark.executor.resource.gpu.amount', '1')
('spark.plugins', 'com.nvidia.spark.SQLPlugin')
('spark.rapids.sql.variableFloatAgg.enabled', 'true')
('spark.rapids.sql.concurrentGpuTasks', '2')
('spark.rdd.compress', 'True')
('spark.executor.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.submit.pyFiles', '')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.memory.pinnedPool.size', '8g')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.multiThreadedRead.numThreads', '20')
('spark.rapids.sql.multiThreadedRead.numThreads', '20')
('spark.repl.local.jars', 'file:///root/spark/test/spark-rapids-benchmarks/nds/rapids-4-spark_2.12-23.04.1.jar')
('spark.sql.files.maxPartitionBytes', '2g')
('spark.rapids.sql.explain', 'NOT_ON_GPU')
('spark.app.initial.jar.urls', 'spark://nebula3:37812/jars/rapids-4-spark_2.12-23.04.1.jar')

image.png

测试对比表

以下数据测试结果均为 transform 时长，不包含数据读取时长

表名大小(MB)CPU /sGPU /s
catalog_sales29593.6258168
web_sales14745.612096
inventory81927245
store_returns3276.82735
catalog_returns2150.4175
web_returns1004.7104
customer257150.002
customer_address10690.047
customer_demographics76.9100.005
item56.520.004
date_dim100.80.004
time_dim4.90.50.003
catalog_page2.70.20.002
web_page0.18984380.0380.002
household_demographics0.14462890.0540.002
promotion0.11914060.0460.002
store0.10185550.0430.002
call_center0.00888670.0380.003
web_site0.0065430.030.003
reason0.00186820.0230.004
warehouse0.00169940.0410.004
ship_mode0.00106140.0330.003
income_band0.00031280.0240.003
  1. 数据量大于 100MB

image.png

  1. 数据量小于 100MB

image.png

总结

从图中可以看出，只有 6G 的显存性能都能提高将近一半；但或是显存太小的原因，随着数据量增长，时长也在慢慢逼近。甚至在测试48G 数据量时，GPU 抛出了 oom。由于我调参进行了多次，在不砍掉执行数和分区数的情况下，都无一成功运行。为了保证测试的一致性，砍掉了48G大数据量试验。

结论：GPU加速数据分析属实有效，但专业级显卡的价格属实与家用的不在一个水平线上，只有企业追求性能时，使用GPU加速数据分析是一个不错的选择。

GPU Models: NVIDIA P100, V100, T4 and A2/A10/A30/A100 GPUs

按照 https://github.com/NVIDIA/spark-rapids-benchmarks/nds 官方教程走就行
大概步骤如下：

  1. 安装 TPC-DS，随机生成数据
  2. 下载 spark-rapids.jar https://nvidia.github.io/spark-rapids/docs/archive.html，并设置环境变量；spark运行参数，请查看 base.template 和 convert_submit_*.template

性能报告

CPU(i7-10700)

Spark configuration follows:

('spark.driver.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.executor.id', 'driver')
('spark.driver.memory', '10G')
('spark.executor.instances', '8')
('spark.driver.port', '42825')
('spark.app.submitTime', '1684138774104')
('spark.app.id', 'local-1684138775340')
('spark.executor.cores', '12')
('spark.executor.memory', '16G')
('spark.rdd.compress', 'True')
('spark.executor.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.app.name', 'NDS - transcode - parquet')
('spark.serializer.objectStreamReset', '100')
('spark.sql.warehouse.dir', 'file:/root/spark/test/spark-rapids-benchmarks/nds/spark-warehouse')
('spark.sql.shuffle.partitions', '200')
('spark.master', 'local[*]')
('spark.submit.pyFiles', '')
('spark.submit.deployMode', 'client')
('spark.app.startTime', '1684138774633')

image.png

GPU(RTX 2060 - 6G)

Spark configuration follows:

('spark.app.startTime', '1684293945663')
('spark.driver.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.jars', 'file:///root/spark/test/spark-rapids-benchmarks/nds/rapids-4-spark_2.12-23.04.1.jar')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.incompatibleOps.enabled', 'true')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.driver.user.timezone', 'Asia/Shanghai')
('spark.driver.port', '37812')
('spark.rapids.driver.user.timezone', 'Asia/Shanghai')
('spark.app.submitTime', '1684293945280')
('spark.executor.resource.gpu.discoveryScript', './getGpusResources.sh')
('spark.executor.cores', '12')
('spark.executor.memory', '16G')
('spark.sql.warehouse.dir', 'file:/root/spark/test/spark-rapids-benchmarks/nds/spark-warehouse')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.explain', 'NOT_ON_GPU')
('spark.app.name', 'NDS - transcode - parquet')
('spark.serializer.objectStreamReset', '100')
('spark.files', 'file:///root/spark/spark-3.3.2-bin-hadoop3/examples/src/main/scripts/getGpusResources.sh')
('spark.sql.shuffle.partitions', '200')
('spark.master', 'local[*]')
('spark.submit.deployMode', 'client')
('spark.sql.legacy.parquet.datetimeRebaseModeInWrite', 'CORRECTED')
('spark.sql.extensions', 'com.nvidia.spark.rapids.SQLExecPlugin,com.nvidia.spark.udf.Plugin,com.nvidia.spark.rapids.optimizer.SQLOptimizerPlugin')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.variableFloatAgg.enabled', 'true')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.concurrentGpuTasks', '2')
('spark.rapids.memory.pinnedPool.size', '8g')
('spark.rapids.sql.incompatibleOps.enabled', 'true')
('spark.executor.id', 'driver')
('spark.app.id', 'local-1684293946417')
('spark.executor.instances', '8')
('spark.driver.memory', '10G')
('spark.app.initial.file.urls', 'file:///root/spark/spark-3.3.2-bin-hadoop3/examples/src/main/scripts/getGpusResources.sh')
('spark.executor.resource.gpu.amount', '1')
('spark.plugins', 'com.nvidia.spark.SQLPlugin')
('spark.rapids.sql.variableFloatAgg.enabled', 'true')
('spark.rapids.sql.concurrentGpuTasks', '2')
('spark.rdd.compress', 'True')
('spark.executor.extraJavaOptions', '-XX:+IgnoreUnrecognizedVMOptions --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/sun.nio.cs=ALL-UNNAMED --add-opens=java.base/sun.security.action=ALL-UNNAMED --add-opens=java.base/sun.util.calendar=ALL-UNNAMED --add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED')
('spark.submit.pyFiles', '')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.memory.pinnedPool.size', '8g')
('spark.plugins.internal.conf.com.nvidia.spark.SQLPlugin.spark.rapids.sql.multiThreadedRead.numThreads', '20')
('spark.rapids.sql.multiThreadedRead.numThreads', '20')
('spark.repl.local.jars', 'file:///root/spark/test/spark-rapids-benchmarks/nds/rapids-4-spark_2.12-23.04.1.jar')
('spark.sql.files.maxPartitionBytes', '2g')
('spark.rapids.sql.explain', 'NOT_ON_GPU')
('spark.app.initial.jar.urls', 'spark://nebula3:37812/jars/rapids-4-spark_2.12-23.04.1.jar')

image.png

测试对比表

以下数据测试结果均为 transform 时长，不包含数据读取时长

表名大小(MB)CPU /sGPU /s
catalog_sales29593.6258168
web_sales14745.612096
inventory81927245
store_returns3276.82735
catalog_returns2150.4175
web_returns1004.7104
customer257150.002
customer_address10690.047
customer_demographics76.9100.005
item56.520.004
date_dim100.80.004
time_dim4.90.50.003
catalog_page2.70.20.002
web_page0.18984380.0380.002
household_demographics0.14462890.0540.002
promotion0.11914060.0460.002
store0.10185550.0430.002
call_center0.00888670.0380.003
web_site0.0065430.030.003
reason0.00186820.0230.004
warehouse0.00169940.0410.004
ship_mode0.00106140.0330.003
income_band0.00031280.0240.003
  1. 数据量大于 100MB

image.png

  1. 数据量小于 100MB

image.png

总结

从图中可以看出，只有 6G 的显存性能都能提高将近一半；但或是显存太小的原因，随着数据量增长，时长也在慢慢逼近。甚至在测试48G 数据量时，GPU 抛出了 oom。由于我调参进行了多次，在不砍掉执行数和分区数的情况下，都无一成功运行。为了保证测试的一致性，砍掉了48G大数据量试验。

结论：GPU加速数据分析属实有效，但专业级显卡的价格与家用的不在一个水平线上，只有企业追求性能时，使用GPU加速数据分析是一个不错的选择。

GPU Models: NVIDIA P100, V100, T4 and A2/A10/A30/A100 GPUs
ZackYoungH
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Spark使用总结与分享
02-26
使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。spark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相比其他大数据处理框架，如MapReduce，Pegel，DryadLINQ和HIVE等均缺乏此特性，所以RDD更为通用。简要地概括RDD：RDD是一个不可修改的，分布的对象集合。每个RD
在 Spark 3.0 上实现 GPU 加速 ETL
weixin_45906054的博客
05-14 1106
>>>>点击上方蓝字关注我们，获取最新技术资讯开源大数据社区 & 阿里云 EMR 系列直播 第三期主题：在 Spark3.0 上实现 GPU 加速 ETL讲...
关于Spark-Rapids的GPU化迁移至数据仓库的改造
qq_33550858的博客
12-23 627
在现存的基于HiveOnSpark的数据仓库上，将Spark-Rapids作为Hive的计算引擎来替代常规版本的Saprk，使数仓能够充分调用GPU计算资源。
Spark计算过程分析
02-25
Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。MapReduce是Hadoop和Spark的计算模型，其特点是Map和Reduce过程高度可并行化；过程间耦合度低，单个过程的失败后可以重新计算，而不会导致整体失败；最重要的是数据处理中的计算逻辑可以很好的转换为Map和Reduce操作。对于一个数据集来说，Map对每条数据做相同的转换操作，Reduce可以按条件
Spark-图计算GraphX
02-24
1.1基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面常用的应用有：在地图应用中找到最短路径、基于与他人的相似度图，推荐产品、服务、人际关系或媒体1.2.1顶点和边一般关系图中，事物为顶点，关系为边1.2.2有向图和无向图在有向图中，一条边的两个顶点一般扮演者不同的角色，比如父子关系、页面A连接向页面B；在一个无向图中，边没有方向，即关系都是对等的，比如qq中的好友。GraphX中有一个重要概念，所有的边都有一个方向，那么图就是
spark-rapids:Spark RAPIDS插件-使用GPU加速Apache Spark
03-13
适用于Apache Spark的RAPIDS加速器 注意：有关最新的稳定确保您位于主分支上。 适用于Apache Spark的RAPIDS加速器提供了一组适用于Apache Spark的插件，这些插件利用GPU通过RAPIDS库和UCX加速处理。 可在找到有关当前版本的文档。 用于Apache Spark的RAPIDS加速器提供了一组用于的插件，这些插件利用GPU通过库和加速处理。 要开始使用插件，请尝试使用。 兼容性 SQL插件尝试产生与Apache Spark一点一点相同的结果。 记录操作员兼容性 调音 要开始调整您的工作并使其发挥最大性能，请从开始。 配置 该插件具有一组控制其行为的Spark配置，并在进行了说明。 问题 我们使用github问题来跟踪错误，功能请求以及尝试回答问题。 您可以提交一个。 下载 可以从页面检索最新版本的jar文件。 从源头建造 请参阅的。 测验 测试
大数据_Spark3.0新特性
日积月累，水滴石穿
09-06 1950
所有这些自适应手段都是在查询计划执行时运用的，如图 3 所示。查询任务中的 Spark 操作是串起来在并行进程中执行的，但数据混洗或数据广播会打断流水线的执行，因为一个执行阶段的输出需要作为下一个执行阶段的输入。简单地说，这种二次优化是动态执行的，如图 3 所示，目标是动态合并混洗分区，减少读取混洗输出数据所需要的归约任务的数量，在合适的时候转换连接策略，并且解决连接时出现的数据倾斜问题。动态分区裁剪优化技术的关键是，将维度表过滤结果注入扫描事实表的操作，使其成为扫描时的过滤条件，从而限制读取的数据量.
为何 SPARK 在应用 GPU 后表现更出色
Jericho2022的博客
11-30 1249
新的 RAPIDS 加速器 shuffle 实施利用 UCX 优化 GPU 数据传输，尽可能在 GPU 上保留更多的数据，通过使用优质的可用硬件资源，找到在节点间移动数据的快速路径（包括绕过 CPU 执行 GPU 到 GPU 显存的节点内和节点间传输）。例如，金融机构检测信用卡欺诈的方法之一是，分析单一帐户上的交易量和交易地点。数据科学家选择合适的数据类型和算法来解决问题，而数据工程师则与数据科学家和开发者开展合作，处理与数据流程创建相关的所有工作，用于数据提取转换、存储和分析，以构建大数据分析应用程序。
Spark内容分享(十一)：Spark的十年沉浮 | 各版本特性对比
之乎者也·的博客
01-02 962
在编程API方面，对API做了精简，合并dataframe和datasets，1.6的dataset包含了dataframe的功能，这样两者存在很大冗余，所以2.0将两者统一，保留dataset api，把dataframe表示为dataset[Row]，即dataset的子集。在SQL支持层面，1.0阶段，SQL的很多功能并不能很好的支持，在2.0阶段，引入了ANSI SQL解析器，并且支持子查询，已经可以运行TPC-DS所有的99个查询，基本覆盖了常见的99%应用场景。
Spark3的新特性
m0_51697147的博客
01-23 1262
Spark3新特性
使用Spark进行实时流计算的方法
10-15
主要介绍了用Spark进行实时流计算的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
SparkStreaming实时计算框架介绍
02-25
随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。SparkStreaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。本文将详细介绍SparkStreaming实时计算框架的原理与特点、适用场景。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。S
使用Windows平台搭建NVIDIA CUDA Python数据分析环境
Deaohst的博客
11-02 1667
最近迷上了CUDA加速计算，但我又是一个不太喜欢用“钞”能力来解决问题的人（其实就是我穷买不起GPU云服务器罢了/(ㄒoㄒ)/~~）。 正所谓人不不作死枉少年，既然买不起，那就自己动手搭建一个环境吧。 索性真的感谢微软，他们使用WSL协议允许用户在Windows系统下模拟Linux环境并进行开发。 准备 首先你需要明确你当前的电脑系统环境需要使用Windows10或者以上的操作系统，这里我使用的是Windows11，其操作和Windows10一样。 打开Microsoft Store，搜索Ubun
Spark 3.0 新特性——加速器感知的任务调度
Shockang的博客
05-11 757
原文 本文翻译自 Spark 官方 JIRA 和设计文档——SPIP: Accelerator-aware task scheduling for Spark 背景和动机 GPU 和其他加速器已经被广泛地用来加速特殊的工作负载，例如深度学习和信号处理。 人工智能社区的用户大量使用 GPU，同时他们经常需要 Apache Spark 来加载和处理大型数据集，以及处理类似流数据的复杂数据场景。 YARN 和 Kubernetes 在最近的版本中已经支持 GPU。 尽管 Spark 支持这两个集群管理器，但 S
Spark的GPU支持方法研究
jiede1的博客
12-22 5703
引言：工作以来研究了一段时间的Spark利用GPU进行异构加速训练的的研究。下文是整理了网上一些常见的Spark结合GPU使用的方法。 为了使用Spark进行机器学习，支持GPU是必须的，上层再运行神经网络引擎。目前AWS\GCP和Databricks的云都已经支持GPU的机器学习，AliYun也在实验之中。 这包括几个层次：GPU直接支持Spark。因为Spark是多线程的，而GPU往往只能...
Spark3 AQE (Adaptive Query Execution) 一文搞懂 新特性
青冬的博客
12-03 2274
Spark3 新特性 AQE Adaptive Query Execution 原理 代码 讲解
chatgpt赋能Python-python_cudf
laod112的博客
05-22 241
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
【Hive/Spark】常见参数配置
Stannis的博客
04-03 1351
（用于spark3中字段类型不匹配（例如datetime无法转换成date），消除sql中时间歧义，将Spark .sql. LEGACY . timeparserpolicy设置为LEGACY来恢复Spark 3.0之前的状态来转化）（4）set spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes=2048M;
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
最新发布
m0_72717598的博客
05-16 257
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
使用SparkStreaming 实时计算景点搜索热度TOP3
05-25
2. 使用SparkStreaming进行实时处理，将数据流转换为DStream流。 3. 对DStream进行处理，统计每个景点的搜索次数，可以使用reduceByKey算子进行聚合操作。 4. 对聚合结果进行排序，取出搜索次数最多的前三个景点。 5...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZackYoungH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值