从零点一开始机器学习之GPU运算性能和CPU性能对比（GPU算力表）

置顶 已于 2022-01-19 13:14:22 修改
阅读量1.1w 收藏 11
点赞数 3
分类专栏： 机器学习 文章标签： 机器学习 深度学习
于 2021-12-24 10:24:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1158513573/article/details/122121634
版权

系列文章目录

从零点一开始机器学习之晦涩难懂的各种概念
从零点一开始机器学习之Win10 64位下安装Cuda+Cudnn
从零点一开始机器学习之GPU运算性能和CPU性能对比（GPU算力表）
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model
从零点一开始机器学习之HDF5模型发布到tensorflow/serving
Python中tensorflow Import使用错误集合

在机器学习之Win10 64位下安装Cuda+Cudnn文中，我们已经简单的阐述了一下gpu在机器学习中性能好于cpu，但是到底有多大的差距呢？刚开始的同学没有一个直观的认识（主要是我自己也没有直观的认识），在此记录一下吧。
我们采用同样的一个简单的基于VGG16的图像分类代码来对比一下，如果有误导或者理解不到位的地方，恳请指正，谢谢！服务器虽然有点旧，但是还是可以看出问题的！
图像分三类，每一类图像3800张左右，batch_size均为25（最好为2的次方数）

CPU服务器一

  • 服务器配置
    在这里插入图片描述
    选取epoch5-15查看计算用时
    在这里插入图片描述

CPU服务器二

  • 服务器配置
    在这里插入图片描述

选取epoch5-15查看计算用时

在这里插入图片描述

GPU计算机一

  • 服务器配置
    在这里插入图片描述
    显卡规格
    在这里插入图片描述

选取epoch5-15查看计算用时
在这里插入图片描述
在用gpu进行计算的时候，观察cpu也有40%左右的占用率，不是说好用gpu计算的吗？应该是cpu也进行了一些TensorFlow其他的计算吧。
可以看出一张算力6.1的1050卡，基本上是10+倍8核E5cpu的性能。
-后记 还有一个GT730的卡，辛辛苦苦花了很多时间装好了环境，一运行居然告诉我算力只有3.5，cuda最低要求为3.7，新手同学可以查询一下显卡算力免得浪费功夫装很久环境！Cuda compute capability 3.5. The minimum required Cuda capability is 3.7。

查看GPU与算力对应、​GPU 算力与 CUDA 版本对应关系​
weixin_44012667的博客
05-21 1424
图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性 - 知乎 (zhihu.com)
操作系统论文导读（二十一）：LaLaRAND: Flexible Layer-by-Layer CPU/GPU Scheduling for Real-Time DNN Tasks
欢迎交流！
06-12 780
LaLaRAND是一个层级的CPU/GPU调度框架，能够透明和灵活地调度每一层DNN任务到CPU或GPU。CPU和GPU执行的不平衡如前所述，CPU和GPU在执行DNN任务时性能不平衡，这会导致资源利用率低下和任务调度难度增加。资源分配模型单一传统的资源分配模型通常采用粗粒度分配，一个任务只能使用一种资源（CPU或GPU），这限制了系统的灵活性和效率。CPU和GPU内存空间分离CPU和GPU通常具有独立的内存空间，这使得在两者之间切换任务时需要额外的开销来保持数据一致性。缺乏系统级调度决策。
CPU与GPU计算能力比较
热门推荐
taot2009的专栏
11-01 2万+
本文对比几个算法分别在CPU上计算，与GPU上计算的耗时。 测试环境： CPU: Intel(R)_Core(TM)_i7-7700_CPU_@_3.60GHz x 8 GPU: NVIDIA GeForce GTX 1050 一，FFT计算的性能分析。 1，dft离散傅里叶变换的公式如下。 X为源数据，一个复数数组。Y = dft(X) 和 X = ifft(Y) 分别表示傅里叶变换...
CPU、GPU、DPU、NPU：谁是AI时代的算力之王
最新发布
Maryhuan的博客
03-10 1879
CPU、GPU、DPU、NPU，它们就像算力时代的四大引擎，推动着科技的进步和社会的发展。相信在未来，它们将继续演进，为我们带来更多惊喜和可能。
常见GPU算力（5090&5090D，GB202-300&GB202-250）
qq_45351564的博客
02-02 2434
注意到，完整 GB202 核心有 12 组 GPC，每组 GPC 包含 8 组 TPC（4090 的 AD102 中是 6 组），单个 TPC 中含有两个 SM 单元，因此完整 GB202 核心共有 192 个 SM 单元，但 GB202-300 只开启其中的 170 个。每个 SM 单元中有 4 个 Tensor Core，因此 GB202-300 总共含有 680 个 Tensor Core。支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4、FP6、FP4，不支持 FP64。
Nvidia GPU 最新计算能力表（CUDA Compute Capability）
欢迎关注，共同进步！
05-28 2万+
Jetson Products GPUCompute CapabilityJetson AGX Xavier7.2Jetson Nano5.3Jetson TX26.2Jetson TX15.3Tegra X15.3 GeForce and TITAN Products GPUCompute CapabilityGeForce RTX 30908.6GeForce RTX 30808.6GeForce RTX 30708.6NVIDIA TITAN RTX7.5Geforce RTX 2080 Ti7.5G
gpu算力列表
weixin_37684231的博客
04-19 711
此链接为gpu算力列表官方数据 https://developer.nvidia.com/zh-cn/cuda-gpus#compute
机器学习之神经网络（从神经网络结构到pytorch基本用法）
Lin_w_x的博客
11-19 3733
机器学习神经网络
怎么做好Java性能优化
SharingOfficer的博客
12-22 768
0. 开篇 性能优化是一个很复杂的工作，且充满了不确定性。它不像Java业务代码，可以一次编写到处运行(write once, run anywhere)，往往一些我们可能并不能察觉的变化，就会带来惊喜/惊吓。能够全面的了解并评估我们所负责应用的性能，我认为是提升技术确定性和技术感知能力的非常有效的手段。本文尽可能简短的总结我自己在性能优化上面的一些体会和经验，从实践的角度出发尽量避免过于啰嗦和生硬，但相关的知识实在太多，受限于个人经验和技术深度，不足之外还请大家补充。 第1部分是偏背景类知识的介绍，有
【AI数值处理】：浮点运算在机器学习应用中的技巧揭秘
![【AI数值处理】：浮点运算在机器学习应用中的技巧揭秘]...本文全面探讨了人工智能(AI)数值处理中的浮点运算基础、机器学习的影响、实践应用、深度学习框架中的优化技巧，以及未来发展
【MATLAB高级技巧】：复杂动力系统分析与GPU硬件加速（专家级应用）
首先，介绍了MATLAB在动力系统分析中的基础和数值计算方法，包括数值处理、稳定性与误差分析，以及矩阵运算和系统状态描述。然后，深入探讨了Simulink仿真工具箱在动力系统中的应用，包括界面使用、模型构建以及特殊...
GPU算力对照表
tfshaonian的博客
05-27 4341
https://developer.nvidia.com/zh-cn/cuda-gpus#compute
深度学习：CPU和GPU算力
m0_46135173的博客
12-09 3753
算力”（Computing Power）通常是指计算机或计算系统执行计算任务的能力。是衡量图形处理器在并行计算中执行浮点运算能力的重要指标，通常以**每秒浮点运算次数（FLOPS, Floating Point Operations Per Second）**表示。通常用浮点运算能力（FLOPS, Floating Point Operations Per Second）来衡量，尤其在科学计算、高性能计算（HPC）和人工智能领域。每个周期执行的浮点运算数。每周期执行的浮点运算数。每个核心的时钟频率（
NPU、CPU、GPU算力及算力计算方式
joanna_xiao的博客
11-21 1万+
再后面是已发布的Altan，算力是1000TFLOPS，这次的Thor算力是2000 TOPS强大的着实让人震惊（但是芯片2025才出来，是时间好像有些远的PPT产品）。FSD芯片采用三星（德克萨斯州奥斯汀的工厂）的14纳米工艺技术制造，集成了3个四核Cortex-A72集群，共有12个CPU，工作频率为2.2GHz，1个(ARM的)Mali G71 MP12 GPU，2个NPU工作频率为2GHz，还有其他各种硬件加速器。同时也引入了更复杂的AI模型（NVIDIA大致每2年的产品都会有一个质的提升）。
NVIDIA GPU 算力表
机器视觉爱好者的博客
06-11 5760
来自nvidia官方：https://developer.nvidia.com/cuda-gpus
英伟达GPU算力表
clemente的博客
03-02 4829
截至2019年7月31日 英伟达GPU算力表：https://developer.nvidia.com/cuda-gpus
【GPU】显卡算力对比表
呵呵呵呵
09-21 2万+
参考链接 https://blog.csdn.net/iefenghao/article/details/97956440?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_w
cudaGPU算力表
m0_38036750的博客
05-08 5939
英伟达官网：https://developer.nvidia.com/cuda-gpus#collapseOne
CPU、GPU算力计算
weixin_44577224的博客
02-28 8272
最直观的理解就是，向量计算。比如一个加法指令周期只能算一组数（一维向量相加），使用SIMD的话，一个加法指令周期可以同时算多组数（n维向量相加），二者用时基本相等，极大地提高了运算效率。FMA的全称为Fused Multiply–accumulate operation, 也就是乘积累加指令，这种指令集融合了加法和乘法，使得处理器能够在一个指令中同时完成乘法和加法操作，从而提高了计算效率。单精度和双精度浮点运算概念，简单的理解单精度就是指32bit的指令长度的运算，对应操作系统就是32位操作系统；
国产CPU和GPU在性能上与国际品牌相比有哪些差距，它们是如何在数字化转型中实现突破的？
11-11
国产CPU和GPU与国际品牌之间的性能差距主要体现在制程技术、核心架构、生态兼容性和计算效率等方面。例如，国产CPU在频率、核心数、缓存容量等方面可能与国际主流的X86架构CPU存在一定的差距，而国产GPU在图形处理能力、AI计算优化等方面也可能不及英伟达和AMD的产品。不过，国产硬件厂商正通过技术创新和市场策略来缩小这些差距。 参考资源链接：[计算机行业报告：硬件与软件齐飞，开启国产化新篇章](https://wenku.csdn.net/doc/4nxargpehb?spm=1055.2569.3001.10343) 在数字化转型的过程中，国产CPU和GPU实现突破的路径包括以下几个方面：首先，通过加大研发投入，不断提高自主核心技术和知识产权的比重，如龙芯中科、海光信息等企业在不断改进自研的CPU和GPU架构。其次，强化与国内软件生态的对接，例如开发兼容国产CPU和GPU的操作系统和应用软件，以提升整体的生态竞争力。同时，国产硬件厂商在特定市场领域，如国家安全、云计算等，通过提供定制化解决方案来满足特定需求，并在这些领域实现应用突破。 此外，政府的政策扶持和技术标准引导也在推动国产CPU和GPU的发展。通过国家科技项目的支持和优先采购政策，国产硬件厂商得以获得资金和市场的双重保障，加速创新和产品迭代。长期而言，随着技术的不断进步和产业链的不断完善，国产CPU和GPU有望在性能上达到或超越国际品牌，实现在数字化转型中的广泛应用。 参考资源链接：[计算机行业报告：硬件与软件齐飞，开启国产化新篇章](https://wenku.csdn.net/doc/4nxargpehb?spm=1055.2569.3001.10343)
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值