【动手学深度学习】(十三)深度学习硬件

一、CPU和GPU

在这里插入图片描述
提升CPU利用率

  • 在计算a+b之前,需要准备数据
    • 主内存->L3->L2->L1->寄存器(数据只有进入寄存器才可以参与运算)
  • 提升空间和时间的内存本地性
    • 时间:重要数据使得保持它们在缓存里
    • 空间:按序读写数据使得可以预读取

GPU
在这里插入图片描述
CPU vs GPU
在这里插入图片描述
提升GPU利用率

  • 并行
    • 使用数千个线程
  • 内存本地性
    • 缓存更小,构建更加简单
  • 少用控制语句
    [总结]:
  • CPU:用于处理通用计算。性能优化考虑数据读写效率和多线程。
  • GPU:使用更小的核核更多的内存带宽,适合能大规模并行的计算任务。

二、更多的芯片

1.DSP:数字信号处理

在这里插入图片描述

2.可编程阵列(FPGA)

在这里插入图片描述

3.AI ASIC

在这里插入图片描述
在这里插入图片描述

三、单机多卡并行

  • 一台机器可以安装多个GPU(1-16)
  • 在训练和预测时,我们将一个小批量计算切分到多个GPU上来达到加速目的
  • 常用切分方案有:
    • 数据并行
    • 模型并行
    • 通道并行(数据+模型并行)

数据并行vs模型并行

  • 数据并行:将小批量分成n块,每个GPU拿到完整参数计算一块数据的梯度
    • 通常性能比更好
  • 模型并行:将模型分成n块,每个GPU拿到一块模型计算它的前向和方向结果
    • 通常用于模型大到单GPU放不下
  • 10
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

释怀°Believe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值