为什么要用GPU来训练神经网络而不是CPU？

最新推荐文章于 2024-05-31 14:28:15 发布
最新推荐文章于 2024-05-31 14:28:15 发布
阅读量3k 收藏 4
点赞数 3
分类专栏： 人工智能、机器学习、深度学习
原文链接：https://www.zhihu.com/question/265730798
版权

正文：

  为什么要用GPU来训练神经网络而不是CPU？

 

小结：CPU适合复杂的逻辑运算，GPU适合矩阵运算，而深度学习大部分的模型训练，算法运算采用矩阵运算，CPU的核心数比GPU少，而模型训练需要很多并行的矩阵运算，所以CPU和GPU相比，不太适合深度学习的模型训练，非常片面之间，不吝赐教，批评改正。

 

索引：

【1】：https://www.zhihu.com/question/265730798

    

思考实践
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
训练神经网络用什么显卡,cpu可以训练神经网络吗
xilao138的博客
08-31 2143
接下来就要进行仿真预测了t_1=sim(net,p)，net就是你建立的那个网络，p是输入数据，由于网络的权值已经确定了，我们这时候就不需要知道t的值了，也就是说不需要知道他是苹果还是橘子了，而t_1就是网络预测的数据，它可能是1或者是2，也有可能是1.3，2.2之类的数（绝大部分都是这种数），那么你就看这个数十接近1还是2了，如果是1.5，我们就认为他是苹果和橘子的杂交，呵呵，开玩笑的，遇到x=2.5，我一般都是舍弃的，表示未知。但是CPU的核心性能比GPU的性能强大，就好比教授和高中老师的区别。...
利用gpu加速神经网络算法,为什么用gpu 模型训练
Supermen333的博客
08-25 2778
使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。一个有趣的地方是在每次搜索到叶子节点时，没有立即叶子节点，而是等到访问次数到达一定数目(40)才，这样避免产生太多的分支，分散搜索的注意力，也能节省GPU的宝贵资源，同时在时，对叶节点的盘面估值会更准确些。
【深度强化学习】如何平衡cpu和gpu来加快训练速度（实录）
最新发布
weixin_56760882的博客
05-31 1095
一般来说，对于ppo这种类在线策略的深度学习算法：1、对于原代码全是gpu训练的(上面例子)，需要改三处，注意第三处，可改可不改第4处。2、全cpu训练的，前两处加的不变，第三处的修改有变化，：(这里也要特别注意，否则也会报同时用两个设备的错误)即：在模型训练时，把所有要计算的tensor张量加到gpu中。如下所示：顺口记法：对于在线的策略（无经验池的策略），大体框架改两处，对应设备改一处，否则会报错。强化学习是不是主要吃cpu而不怎么吃gpu?这个参考的结论基本对，这里做补充。
CPU和GPU的区别是什么？为什么训练人工智能用GPU而不是CPU?
weixin_45878279的博客
04-15 4759
这是因为GPU具有大量的并行处理单元，可以同时执行大量计算，而CPU通常只有几个核心。此外，GPU的架构专门设计用来执行大量浮点运算，这对于人工智能训练中的矩阵运算非常重要。它具有大量的并行处理单元，可以快速执行大量计算，特别擅长处理图形渲染、视频编码和解码、机器学习等任务。当程序中需要进行大量的图形计算或并行计算时，CPU会将相关数据发送到GPU，让GPU来完成这些计算。控制单元负责从内存中读取指令并解释执行，算术逻辑单元负责进行各种算术和逻辑运算，寄存器则用于临时存储数据和指令。
为什么要使用多GPU并行训练，单卡和多卡训练，bs和lr的关系
qq_15821487的博客
02-10 1675
众所周知，learning rate的设置应和batch_size的设置成正比，即所谓的线性缩放原则（linear scaling rule）。简单来说，有两种原因：第一种是模型在一块GPU上放不下，两块或多块GPU上就能运行完整的模型（如早期的AlexNet）。1.模型并行方式：如果模型特别大，GPU显存不够，无法将一个显存放在GPU上，需要把网络的不同模块放在不同GPU上，这样可以训练比较大的网络。2.数据并行方式：将整个模型放在一块GPU里，再复制到每一块GPU上，同时进行正向传播和反向误差传播。
为什么要专门出现GPU来处理图形工作？
finovycloud的博客
06-14 1150
管理端组件调度的原则是尽量使在同一个物理机上的GPU需求自给，如果该物理机上具备满足条件的GPU资源，在一般情况下，该物理机上的虚拟机的GPU需求都重定向到该物理机的CUDA服务端。
神经网络cpu与gpu数据迁移
WJ_MeiMei的博客
12-14 1508
一 . gpu转至cpu处理 问题描述 RuntimeError: expected device cpu but got device cuda:0 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same 期待cpu 型数据，但传入了...
并行运算与神经网络-基于CPU/GPU的并行神经网络运算
09-05
总结来说，理解并行运算和神经网络的关系以及如何在CPU和GPU上实现并行计算，对于提升人工智能模型的训练效率至关重要。随着硬件技术的进步和软件优化，我们期待并行运算在未来的神经网络发展中发挥更大的作用，推动...
MATLAB 神经网络案例：并行运算与神经网络——基于CPUGPU的并行神经网络运算.zip
07-24
这个压缩包“MATLAB神经网络案例：并行运算与神经网络——基于CPUGPU的并行神经网络运算.zip”显然是一个教学资源，它详细探讨了如何利用MATLAB的并行计算能力来提升神经网络的训练速度，特别是涉及到CPU和GPU的并行...
13.MATLAB神经网络43个案例分析 并行运算与神经网络-基于CPUGPU的并行神经网络运算.zip
09-18
在这个"MATLAB神经网络43个案例分析 并行运算与神经网络-基于CPUGPU的并行神经网络运算.zip"的资源中，我们可以深入学习如何利用MATLAB进行高效的神经网络建模、训练和优化，特别是涉及到了CPU和GPU的并行计算技术。...
基于matlab 定并行运算与神经网络-基于CPU/GPU的并行神经网络运算源代码+详细教程
05-19
1. 并行权重更新：在训练神经网络时，权重更新通常涉及大量的矩阵运算，这些运算可以通过并行计算加速。例如，可以将权重更新的过程分解为多个独立的任务，分配到不同的计算资源上。 2. 并行前向传播/反向传播：...
生成对抗网络训练过程如何节省显卡，GAN reduce memory of gpu
t20134297的博客
03-25 1317
在做生成对抗网络的训练过程，需要消耗大量的显卡空间，如果自己电脑的显卡空间不够大的话，则需要将batch_size设置的非常小，那么有没有一种方式，使得在不改变网络结构的情况下，并且能够减少GPU的消耗呢？有，下面就是一个节省显卡的代码。 import torch import torch.nn as nn from torchvision import models from torchvi...
什么是GPU？跟CPU有什么区别？终于有人讲明白了
AI_dataloads的博客
09-19 8379
在学习深度学习时，电脑如果没有GPU，训练的时候需要用的是CPU，那么两者之间在训练数据集有什么差别？当你在一次训练过程中，着重看一下训练过程，就会发现，训练时间是真的差距大。这两个具体有什么差别呢？CPU:中央处理器（英文CentralUnit）是一台计算机的运算核心和控制核心。CPU、内部存储器和输入/输出设备是电子计算机三大核心部件。其功能主要是解释计算机指令以及处理计算机软件中的数据。
训练好的神经网络怎么用,神经网络训练电脑配置
神经网络爱好者
08-05 1429
看你的描述这么专业，最后怎么问的有点外行，既然系统做图像识别的学习，肯定是需要大数据配合，电脑哪里处理的了，要用服务器，如果是初级应用，那么性能不一定要多强，两台入门级的服务器吧，因为可以支持多线程处理，为了节约，可以买国产的塔式服务器，便宜而且可以不用机柜，现在的服务器大多也都是千兆网卡了，不用特意要求，主要在内存和硬盘，现在的服务器瓶颈就是数据读取速度，资金允许就配固态盘做数据盘，配合前兆网卡和两台服务器处理能力，完美的学习环境。CPU：总的来说，你需要选择一个好的GPU，一个较好的CPU。...
深度学习使用GPU训练
ii偏闹i的博客
10-14 2997
1、深度学习用CPU训练和用GPU训练的区别 （1）CPU主要用于串行运算；而GPU则是大规模并行运算。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。 （2）CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU快。   2、深度学习 深度学习的概念源于人...
神经网络训练电脑配置,cpu可以训练神经网络吗
shirley67269的博客
09-01 2877
使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。至今，没有一条确定的公式能够实现主频和实际的运算速度两者之间的数值关系，即使是两大处理器厂家Intel和AMD，在这点上也存在着很大的争议，我们从Intel的产品的发展趋势，可以看出Intel很注重加强自身主频的发展。而GPU则是大规模并行运算。.
【已证实】训练神经网络时，GPU利用率低而显存占用率高的思考
qq_39333636的博客
05-19 1万+
训练网络的时候遇到了这个问题，通过查资料和同学交流等方式，有了一点自己的思考，和大家分享。
学习神经网络（深度学习）电脑的配置要求
热门推荐
weixin_46527744的博客
06-09 2万+
学习神经网络（深度学习）电脑的配置要求 个人电脑配置与使用感受（电脑小白） 我目前所使用的电脑的配置是 （1）CPU：i5-9300H （2）GPU：GTX1650-4G （3）显存：8G （4）固态硬盘：1T （5）屏幕大小：15.6英寸 现在用tensorflow-gpu版跑VGG16神经网络时：CPU还行，37%左右；显存直接到了85%左右；GPU更是干到了93%。如果再跑接下来的两个经典神经网络Inception10和ResNet18估计是够呛。 电脑配置个人建议（电脑小白，仅供参考） **（1）*
如何手算gpu cpu神经网络运行时间
07-28
要手算GPU和CPU神经网络的运行时间，需要考虑以下几个因素： 1. 神经网络的复杂度：包括网络的层数、每层的节点数、权重参数的数量等。复杂的网络通常需要更多的计算资源和时间。 2. 硬件规格：包括GPU和CPU的型号和规格，如GPU的核心数、频率、内存带宽等，以及CPU的核心数、频率等。不同的硬件规格会影响计算能力和性能。 3. 计算操作：神经网络的前向传播和反向传播是主要的计算操作。前向传播计算每一层的输出，而反向传播计算梯度以更新权重参数。 4. 批处理大小：神经网络通常使用批处理进行训练，即同时处理多个样本。批处理大小会影响计算的效率，较大的批处理大小通常能够充分利用硬件并行计算的能力。 5. 算法优化：一些高效的算法和技术可以加速神经网络的计算过程，如并行计算、矩阵运算优化等。 在手算GPU和CPU神经网络的运行时间时，可以按照以下步骤进行： 1. 确定神经网络的复杂度：根据网络结构和参数数量，确定网络的复杂度。 2. 计算每一层的计算量：根据网络的结构和参数数量，计算每一层的计算量，包括乘法和加法运算的次数。 3. 估计每一层的计算时间：根据硬件规格和每一层的计算量，估计每一层的计算时间。可以考虑硬件的计算能力、内存带宽等因素。 4. 计算总体运行时间：根据每一层的计算时间和网络的层数，计算总体的运行时间。考虑到前向传播和反向传播的计算时间。 需要注意的是，手算GPU和CPU神经网络的运行时间只是一种估计，并不能完全准确地反映真实情况。实际运行时间受到许多因素的影响，如硬件驱动程序、操作系统、并行计算效率等。因此，手算的结果只能作为一个大致的参考。如果需要更准确的运行时间估计，可以使用专业的性能分析工具或进行实际的实验测量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值