笔记本电脑安装cuda10.2并使用pycuda、xgboost测试GPU计算效率（附Colab, Kaggle, BaiduAIStudio性能测试对比）

最新推荐文章于 2024-05-26 10:05:07 发布
置顶 最新推荐文章于 2024-05-26 10:05:07 发布
阅读量2.4k 收藏 2
点赞数 1
分类专栏： 人工智能 开发 Python 文章标签： cuda 深度学习 机器学习 GPU计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41216356/article/details/103708438
版权
开发 同时被 3 个专栏收录
5 篇文章 0 订阅
订阅专栏
Python
5 篇文章 0 订阅
订阅专栏
人工智能
2 篇文章 0 订阅
订阅专栏

硬件配置：

机型：机械革命s1，2018年

CPU：i7-8550U

GPU：Nvidia Geforce MX150（满血版），2G显存

内存：单条16g （自己更换的）

软件信息：

CUDA：v10.2.89

Display Driver：441.66

1. 引言

最近做机器学习，想测试一下自己的顶配轻薄本上的MX150独显，相比cpu和集显来讲，到底能有多少提速。因此就有了这次测试。

2. cuda的安装

按照官网guidance走，十分顺利。由于不是本文的重点，就简单讲下。

Guidance有2个：一个是 Quick Start Guide，另一个是 Cuda Installation Guide for Windows

安装步骤第一步：更新显卡驱动 为441.66；第二步：安装 Microsoft Visual Studio 2019，Community版本即可，安装时记得勾选C++组件，cuda程序编译时会用到，需要大概7GB硬盘空间；第三步：安装 cuda10.2，显卡驱动已经更新过了记得选自定义安装，然后untick显卡驱动Display Driver，还有Geforce Experience也不是必须的那个是打游戏用的，也可以untick。

不过在做之前要注意一下cuda版本和Display Driver版本，以及MSVC的对应关系：Cuda Toolkit Release Notes，根据自己要装的cuda版本，去选择显卡驱动的版本。

3. 性能测试

3.0 理论值

搜索Google可以查到，

i7-8550u自带的集显UHD 620理论算力应该在 430 GFlops 左右，

而Geforce MX150的理论算力应该在 1,177 GFlops 左右，

因此独显比集显的理论倍数大约应为2.7倍左右，

下面进行测试。

3.1 pycuda性能测试

这里的测试用例来自这位csdn的朋友的文章：pycuda 之 安装与简单使用，基本就是两个长向量加加减减再求内积，N为原始向量长度。

注：这里碰到一个bug：

nvcc fatal : Cannot find compiler 'cl.exe' in PATH

错误原因是C++编译器cl.exe不在系统环境变量里，解决方法是把带有cl.exe编译器的目录，放进PATH中，然后重启计算机即可。

这里根据我的VS 2019版本，添加的路径为：C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.24.28314\bin\Hostx64\x64

测试结果：

------------1---------------
N = 10485760
gpu run time 0.064494 seconds
cpu run time 0.144696 seconds
-0.0014648438 0.001953125
------------2---------------
N = 20971520
gpu run time 0.125063 seconds
cpu run time 0.302542 seconds
-0.0014648438 0.0014648438
------------3---------------
N = 31457280
gpu run time 0.187235 seconds
cpu run time 0.439143 seconds
-0.0014648438 0.0014648438
------------4---------------
N = 41943040
gpu run time 0.250251 seconds
cpu run time 0.567680 seconds
-0.0014648438 0.0014648438
------------5---------------
N = 52428800
gpu run time 0.311149 seconds
cpu run time 0.697281 seconds
-0.0014648438 0.0014648438
------------6---------------
N = 62914560
gpu run time 0.375471 seconds
cpu run time 0.857080 seconds
-0.0014648438 0.0014648438
------------7---------------
N = 73400320
gpu run time 0.434704 seconds
cpu run time 1.031650 seconds
-0.0014648438 0.0014648438
------------8---------------
N = 83886080
gpu run time 0.844024 seconds
cpu run time 1.146626 seconds
-0.0014648438 0.0014648438
------------9---------------
N = 94371840
gpu run time 1.228094 seconds
cpu run time 1.327372 seconds
-0.0014648438 0.0014648438

然后往后跳过了一些：

------------15---------------
N = 157286400
gpu run time 0.938998 seconds
cpu run time 2.088095 seconds
-0.0014648438 0.0014648438
------------16---------------
N = 167772160
gpu run time 1.682067 seconds
cpu run time 2.222236 seconds
-0.0014648438 0.0014648438
------------17---------------
N = 178257920
gpu run time 1.728806 seconds
cpu run time 2.381657 seconds
-0.0014648438 0.0014648438

直接跳到20：

------------20---------------
N = 209715200
gpu run time 1.238891 seconds
cpu run time 3.056840 seconds
-0.0014648438 0.0014648438

21就OOM了：pycuda._driver.MemoryError: cuMemAlloc failed: out of memory

可以看到在pycuda的测试用例中，GPU的速度基本上在CPU的1.5-2.7倍左右，偶尔不稳定。

3.2 xgboost性能测试

xgboost的测试用例来自xgboost官方github：https://github.com/dmlc/xgboost/tree/master/tests/benchmark 中的benchmark_tree.py，用hist方法对750000×50的随机矩阵进行500次的迭代查找分割点。

测试结果：

hist118.29 s
gpu_hist48.70 s

可以看到在xgboost的测试用例中，GPU的速度大概是CPU的2.5倍左右，基本符合理论值。

注：关于如何查看是否成功开启CUDA GPU加速，我这边踩了个坑，记录了下来，具体可以查看我的另一篇文章：

XGBoost源码编译教程，以及编译后.dll文件下载

4. 总结

虽然笔记本很破，但cuda还是可以玩的！折腾至上！

通过此次测试，一方面熟悉了windows上cuda环境的部署，另一方面也对显卡的计算力有了一个更直观的了解，比如通过TechPowerUp提供的相对性能表，就可以很容易的推算出与各大主流显卡的性能差距，进而选择合适的升级方案了。

另：MX150这块卡应该算是主流的顶配轻薄游戏本上的常见配置了（MX150市面上有2款，一款满血版25w的，另一款10w续航版，后者性能很差，机械革命s1的是前者），这里我根据相对性能列了一张表，大家可以参考一下：

显卡算力对比（MX150为基准）
i7-8550u (with UHD 620)0.37
MX1501倍
10501.9

1060

3.78
10705.1
10806
1080Ti7.65
20606
20707
20808.22
2080Ti9.62
Tesla M603.38
Tesla P43.85
Tesla P407.90

Tesla P100-PCIe-16GB

(Kaggle Kernel配置)

6.42
Tesla K403.38
Tesla K80 (Colab旧配置)(无数据，理论上是2块K40的叠加: 6.76)
Tesla T4 (Colab新配置)7
Tesla v100 (Baidu AI Studio配置)10.57

(实际性能不一定同理论一样，有文章就反映说Colab的T4比他本地的1080Ti慢了将近2倍，所以仅供参考，实际性能还要和环境，CPU，内存等挂钩)

5. Colab, Kaggle, Baidu AI Studio 上 GPU Kernel性能大对比

基于Xgboost的基准测试：

Colab hist (with CPU Kernel)183.20 s
Colab hist (with GPU Kernel)137.50 s
Colab gpu_hist (with GPU Kernel Tesla P4)14.54 s
Kaggle hist (with CPU Kernel)109.93 s
Kaggle gpu_hist (with GPU Kernel Tesla P100)7.09 s
Baidu AI Studio gpu_hist (with GPU Kernel Tesla V100)4.09 s

 

SimZhou
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
白嫖百度AIstudio免费GPU --tesla-v100并且安装tensorflow-gpu-2.1、Pytorch、caffe
少年程序郎
04-01 8384
1、进入终端界面：输入nvidia-smi查看驱动显卡等信息 驱动以及cuda的版本是随机的有时候是cuda10.1 有时候是cuda 9.2如果没有想要的版本重启下项目，并且其分配的显存和内存也是随机的。 把他重启重新进入就可以了。 2、在终端输入python 然后再界面输入 import sys sys.path 查看安装的目录 记录下这个路径 python...
colabcode:在Google Colab或Kaggle笔记本上运行VSCode（代码服务器）
03-16
Colab代码 安装 安装很简单！ $ pip install colabcode 在Google Colab或Kaggle Notebooks上运行代码服务器 入门 ColabCode也有一个命令行脚本。 因此，您可以仅从命令行运行colabcode 。 colabcode -h将给出以下...
MX150/MX250算力6.1，CUDA算力表
fa544384733的博客
03-11 1万+
详细地址： https://en.wikipedia.org/wiki/CUDA GPU核心数和算力关系： https://www.zhihu.com/question/46400432?sort=created
数据挖掘学习(一)——xgboost GPU配置加速，GPU性能查看Tips
热门推荐
酬勤的博客
07-19 1万+
xgboost模型在跑大数据集时速度堪忧，正好最近配置了一块RTX2070，在网上搜了颇多资料利用GPU加速xgboost，在这里做一个归纳整理； 另外，附上xgboost参数概括比较好的资料： Xgboost官方中文文档 Xgboost参数解释及调参 xgboost GPU加速： 参考资料： 给你的大杀器装备核弹——Windows下安装使用GPU版XGBoost详细参考指南 GPU加速xgboost——win10下配置 第一份资料完整阐述了GPU配置的整个过程，先用cmake生成文件，然后用vs编译，这里
ubuntu22.04安装cuda10.2
最新发布
qq_44972941的博客
05-26 391
ubuntu22.04高系统安装低版本的cuda10.2
在Aistudio中使用GPU跑tensorflow
Nini_Andy的博客
05-12 3868
在Aistudio中使用GPU跑tensorflow在Aistudio中使用GPU跑tensorflow查看显卡驱动查看显卡驱动对应的cuda版本选择cudnn版本号下载cuda和cudnn在aistudio上配置和安装导入安装与解压修改权限和配置环境配置python安装tf保存环境最终效果 在Aistudio中使用GPU跑tensorflow 我试了好多方法在aistudio上用tf都是用的cpu在跑，这个方法也是借鉴了网上很多人写的博客，我把需要下载的东西都放在百度云里了，方便大家使用。 查看显卡驱动
百度AI studio安装Tensorflow-gpu 2.0.0
Code_Boy_Code的博客
05-04 3262
1.注册百度AIStudio平台账号 完成任务（两三分钟）可以获得100小时的GPU 地址https://aistudio.baidu.com/ （创建项目，上传数据集，启动项目很快就能学会使用） 进入项目 2.创建项目 填好有关内容然后点击创建 点击启动环境进入环境 ...
Colab-test:Colab笔记本测试
04-08
**谷歌Colab笔记本测试** 谷歌Colab（全称Google Colaboratory）是谷歌提供的一款免费的云端Python开发环境，特别适合于数据科学、机器学习和人工智能领域的初学者和专业人士。它基于开源的Jupyter Notebook，让...
colab-ffmpeg-cuda:FFmpeg构建具有针对Linux的CUDA支持（尤其是针对Google Colab）
05-28
重要提示：您必须更改运行时类型并使用GPU硬件加速器。 如果尚未完成，进行： 克隆存储库 # You need to prepend a `!` to execute a shell command in Goole Colab or Jupyter ! git clone ...
tensorflow:指定gpu 限制使用量百分比,设置最小使用量的实现
09-18
在深度学习领域，TensorFlow 是一个广泛使用的开源库，它允许开发者构建和...这些技巧在处理大型模型或在多用户环境中使用GPU时尤其有用，它们能帮助你更有效地管理和优化GPU资源，从而提高计算效率和模型训练的速度。
FastAI:Colab笔记本测试Fastbook的代码
03-22
6. **利用GPU资源**：Colab提供了免费的GPU资源，通过设置`torch.cuda.is_available()`检查并设置设备，可以加速模型训练。 7. **保存和分享**：完成代码运行后，记得保存Notebook，并可以通过分享链接与他人协作或...
tensorrt加速pytorch生成pth: pth-＞onnx-＞engine
sinat_39307513的博客
03-15 2255
生成静态engine模型--batch=1 一、pytorch模型保存 1、保存模型参数 save_filename = 'net_%s.pth'% epoch_label save_path = os.path.join('./model',name,save_filename) torch.save(network.cpu().state_dict(), save_path) 导入模型参数 save_path = os.path.join('./model',name,'net_%s.pt
掌握XGBoost：GPU 加速与性能优化
Echo_Wish的博客
02-15 2223
通过本教程，您学习了如何在Python中使用XGBoost进行GPU加速以及性能优化的方法。首先，我们安装了支持GPU的XGBoost版本，并启用了GPU加速。然后，我们调整了模型参数以优化性能，并进行了性能评估。通过这篇博客教程，您可以详细了解如何在Python中使用XGBoost进行GPU加速以及性能优化的方法。首先，您需要确保您的系统上安装了支持 GPU 的 XGBoost 版本。除了使用 GPU 加速外，还可以通过调整其他参数来优化 XGBoost 的性能。
CUDA_OUT_OF_MEMORY_ERROR
Bismarckczy的博客
04-10 453
CUDA_OUT_OF_MEMORY_ERROR 原因: 其他python程序(很可能是tf的gpu程序)正在占用gpu 解决: 关掉其他python gpu程序,只在terminal跑代码
Python tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY
qq_34851605的博客
11-20 2909
tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY 这几天在做卷积神经网络的一个项目，遇到了一个问题CUDA_ERROR_OUT_OF_MEMORY。运行代码时前三四百次都运行正常，之后就一直报这个错误（而且第二次、第三次重新运行程序时，报错会提前），但是程序不停止。今天空闲下来，就看一看 这个问题。 详细信息（因为我的报错解决了，所以从网上找了一个相同的报错信息）： 2017-03-28 23:38:19.485396: E tensorflow/stream_executor/
cuda性能分析工具
weixin_42764932的博客
02-14 2068
cuda性能分析工具
百度AI Studio平台 安装TensorFlow-GPU
MARVEL_3000的博客
04-18 2294
目录一、平台介绍二、安装过程1、启动GPU环境2、查看CUDA版本3、查看conda环境4、安装TensorFlow-GPU三、安装测试四、TIPS 一、平台介绍 百度AI Studio是基于百度深度学习平台飞桨的一站式AI开发平台,提供在线编程环境、免费GPU算力、海量开源算法和开放数据，包括很多常用的数据集，使用百度paddlepaddle深度学习框架。 二、安装过程 1、启动GPU环境 首先...
使用Pytorch测试cuda设备的性能（单卡或多卡并行）
梦马韶华
11-17 1674
`CUDA设备`泛指NVIDIA显卡 或 启用ROCm的AMD显卡（通常叫做仿冒CUDA） 使用Pytorch测试cuda设备的性能（单卡或多卡并行）
cuda-z/gpu-z/cpu-z工具分析GPU显卡和CPU算力信息
tugouxp的专栏
02-06 9283
类似于Windows下使用CPU-Z工具查看CPU信息，Linux下也可以使用CUDA-Z工具来查看显卡资源/支持信息。
怎样测试tensorflow是否使用GPU计算？给出详细代码
05-10
在TensorFlow中，可以通过以下步骤测试是否使用GPU计算： 1. 安装TensorFlow-gpu版本 2. 导入TensorFlow库 3. 创建一个TensorFlow会话 4. 打印出当前使用的设备 下面是详细代码： ```python import tensorflow as tf # 创建一个TensorFlow会话 sess = tf.Session() # 打印当前使用的设备 print(sess.run(tf.config.list_physical_devices('GPU'))) ``` 如果输出为空，则说明TensorFlow没有使用GPU计算。如果输出有GPU设备，则说明TensorFlow正在使用GPU计算。 需要注意的是，如果本地计算机没有安装GPU或者GPU驱动，则会出现错误。在这种情况下，可以尝试使用Google Colab等云平台进行测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值