【动手学深度学习】(十三)深度学习硬件

最新推荐文章于 2024-03-04 19:42:48 发布
最新推荐文章于 2024-03-04 19:42:48 发布
阅读量560 收藏 9
点赞数 10
分类专栏： # 动手学深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52986400/article/details/135000319
版权

文章目录

一、CPU和GPU

在这里插入图片描述
提升CPU利用率

  • 在计算a+b之前，需要准备数据
    • 主内存->L3->L2->L1->寄存器(数据只有进入寄存器才可以参与运算)
  • 提升空间和时间的内存本地性
    • 时间：重要数据使得保持它们在缓存里
    • 空间：按序读写数据使得可以预读取

GPU
在这里插入图片描述
CPU vs GPU
在这里插入图片描述
提升GPU利用率

  • 并行
    • 使用数千个线程
  • 内存本地性
    • 缓存更小，构建更加简单
  • 少用控制语句
    [总结]：
  • CPU:用于处理通用计算。性能优化考虑数据读写效率和多线程。
  • GPU：使用更小的核核更多的内存带宽，适合能大规模并行的计算任务。

二、更多的芯片

1.DSP:数字信号处理

在这里插入图片描述

2.可编程阵列(FPGA)

在这里插入图片描述

3.AI ASIC

在这里插入图片描述
在这里插入图片描述

三、单机多卡并行

  • 一台机器可以安装多个GPU（1-16）
  • 在训练和预测时，我们将一个小批量计算切分到多个GPU上来达到加速目的
  • 常用切分方案有：
    • 数据并行
    • 模型并行
    • 通道并行（数据+模型并行）

数据并行vs模型并行

  • 数据并行：将小批量分成n块，每个GPU拿到完整参数计算一块数据的梯度
    • 通常性能比更好
  • 模型并行：将模型分成n块，每个GPU拿到一块模型计算它的前向和方向结果
    • 通常用于模型大到单GPU放不下
释怀°Believe
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
（13）FPGA与DSP区别
m0_46498597的博客
03-21 1105
（13）FPGA与DSP区别 1 文章目录 1）文章目录 2）FPGA入门与提升课程介绍 3）FPGA简介 4）FPGA与DSP区别 5）技术交流 6）参考资料 2 FPGA入门与提升课程介绍 1）FPGA入门与提升文章目的是为了让想学FPGA的小伙伴快速入门以及能力提升； 2）FPGA基础知识； 3）Verilog HDL基本语法； 4）FPGA入门实例； 5）FPGA设计输入，包括代码输入、原语输入； 6）FPGA设计技巧； 7）FPGA时钟设计； 8）FPGA复位设计；
剖析GPU、FPGA、ASIC和DSP，如何选择高效的深度学习硬件？
kwame211的博客
09-29 5368
深度学习最近取得的成功势不可挡：从图像分类和语音识别到图片标注、理解视觉场景、视频概述、语言翻译、绘画，甚至是生成图像、语音、声音和音乐！其成果令人震惊，因而需求就会增长。 对于需要更多用于深度学习解决方案的硬件和优化型芯片的领域来说，数据中心只是其中的一个方面。还有很多消费类电子产品，比如智能相机、增强现实眼镜等设备，它们需要小功率，并且由于隐私问题，用户们可能不会想要采用云计算解决方案。
DSP与FPGA的区别
weixin_46825856的博客
09-22 771
目前的FPGA都可以直接内嵌诸如ARM7，CoretexM1，Core8051等微处理器，用于FPGA的软核的，也有的FPGA厂商将一些硬件模块直接做到FPGA中，这些是FPGA内部的硬核。除此之外，用FPGA实现ASIC的前期的设计验证，FPGA实现DSP的功能，实现CPU的功能，MCU的功能，内存控制器，用于工业的PWM，SVPWM，Clarke，Park的正逆变换的实现，VGA控制，数据的编解码，解复用，高达上Gbps的信号的处理，协议的转换实现等等等等功能，都是DSP难以胜任的。
FPGA与DSP有哪些区别、特点及用途？
GJZGRB的博客
11-07 1057
FPGA是一种可编程的硅芯片，DSP是数字信号处理，当系统设计人员在项目的架构设计阶段就面临到底采用FPGA还是DSP的重要问题。本文将首先分别介绍FPGA和DSP的特点，然后再从内部资源、编程语言、功能多个角度解析两者的不同。
FPGA和DSP的区别
sangba2019的博客
12-30 1482
https://blog.csdn.net/clara_d/article/details/82355397csdn链接DSP是通用的信号处理器，用软件实现数据处理；FPGA用硬件实现数据处理。DSP成本低，算法灵活，功能性强，而FPGA的实时性好，成本较高，FPGA适合于控制功能算法简单且含有大量重复计算的工程使用，DSP适合于控制功能复杂且含有大量计算任务的工程应用。DSP是软件实现算法，FPGA是硬件实现算法，所以FPGA的处理速度会更高；FPGA比DSP快的一个重要原因是FPGA可以实现并行运算，而
FPGA与DSP简单比较
lxm920714的专栏
11-21 3278
两者的优势不一样。在硬件层面，DSP是ASIC,如同CPU GPU一样，适宜于量产降低成本，缺点是（硬件）设计一旦确定，便不易于修改。而FPGA较灵活，可以通过硬件描述语言进行快速设计和改进，但成本较高，传统上讲用于ASIC的prototype设计。 另外，在软件层面上，给DSP写程序和给多核CPU写程序，给GPU写程序，没有太大区别，DSP有完善的C语言编译器。而FPGA没有“软件设计”这个概...
深度学习硬件：TPU, DSP, FPGA, AI ASIC, Systolic Array 动手学深度学习v2
AI架构师易筋
04-20 479
1. TPU和其他 1.1 手机芯片 1.2 DSP digital signal processor 数字信号处理 1.3 可编程阵列 FPGA - field-programmable gate array 1.4 AI ASIC - Application-specific integrated circuits Systolic Array FPGA 华为用了很多去做路由器。 造一个芯片出来，必须有生态，开发生态和研究人员的生态，也就是有很多人在优化编译
GPU,DSP等等的关系（转载）
最新发布
goat17的博客
03-04 169
视频解码任务的特点是，它没有明显的先后关系，也没有条件判断，比如处 理一帧的画面，这么多像素点，可以一起解码，不同 的像素点之间没有先后关系。这个接口是CPU内部的接口，不在外部总线上，因此协处理器算CPU内部单元。之前说了，理论上的硬件解码速度快，面积和功 耗成本也最少，可是灵活性太差 如果某一天，一种新的编码诞生了，需要算OUT = (A*B+C)*(D*E+F)+G 对于DSP来说，只需要换一下指令的源操作数， 还是可以通过三条成累加实现，但上述最后一种 方法的硬件电路就废了。比如盖世兔的国行版本。
ARM,DSP,FPGA三者比较
yvbycf的博客
03-16 2156
这三款不同类型的芯片，笔者在不同项目中都有不同的使用。本科做电赛的时候做个cortex-mo arm芯片的开发。毕业设计做过基于zynq7000 soc核的NVDLA软硬件系统移植。研究生阶段实习公司的算法一般开发在DSP平台上。三个嵌入式芯片可以说是各有千秋，分别能在不同场合下有所应用。ARM（Advanced RISC Machines）是微处理器行业的一家知名企业，设计了大量高性能、廉价、耗能低的RISC处理器、相关技术及软件。
DSP和FPGA相比的优势和劣势
12-31
通过问答的形式简单描述了DSP和FPGA的特点，进行了简单明了的对比，使初学者轻而易举的就可以了解这两种芯片的作用、领域、特长
FPGA与DSP区别
m0_46498597的博客
12-08 1500
1.1 FPGA与DSP区别 1.1.1 本节目录 1）本节目录； 2）本节引言； 3）FPGA简介； 4）FPGA与DSP与CPU区别； 5）结束语。 1.1.2 本节引言 “不积跬步，无以至千里；不积小流，无以成江海。就是说：不积累一步半步的行程，就没有办法达到千里之远；不积累细小的流水，就没有办法汇成江河大海。 1.1.3 FPGA简介 FPGA（Field Programmable Gate Array）是在PAL、GAL等可编程器件的基础上进一步发展的产物。它是作为专用集成电路
基于DSP芯片的FPGA的配置方法
qq_58073140的博客
05-24 3785
复杂的数字控制电路中一般都采用DSP和FPGA两个主控芯片来实现设备功能， 而FPGA需要专用的配置芯片来完成程序的存储及加载，使用DSP芯片对FPGA及进行配置，将配置数据（即程序）从自身存储器（FLASH）传入FPGA芯片中，可省去FPGA的配置芯片，缩小印制电路板面积，降低硬件成本。
深度学习，CPU、GPU、DSP、FPGA运算能力对比
打怪升级ing
07-02 2万+
一：CPU一般来讲最弱的是cpu。虽然cpu主频最高，但是单颗也就8核,16核的样子，一个核3.5g,16核也就56g，再考虑指令周期，每秒最多也就30g次乘法。还是定点的。二：DSPdsp虽然主频不如cpu,但是胜在乘法器多，随随便便带16个乘法器，还是浮点的。再来个4核，8核，还有特定的算法硬件加速，所以虽然主频只有1,2g但是运算能力还是比cpu强。当然现在出现了带专用乘法器的cpu，dsp...
深度学习计算框架综述（十三）HVX 计算优化实践—DSP 开发调试
Kane的博客
01-09 1433
Overview FARF printf Runtime FARF Introduction Enabling runtime FARF via config file Config file name Contents of the config file Enabling at process start-up Enabling runtime FARF programmatically Obtaining PID and ASID of FastRPC pro
dsp和fpga的通讯
weixin_41950112的博客
03-29 4287
（1）：之前一直好奇DSP和FPGA的地址怎么对应过去的。 先配置好管脚： void InitXintf16Gpio() //16位； { EALLOW; GpioCtrlRegs.GPCMUX1.bit.GPIO64 = 3; // XD15 GpioCtrlRegs.GPCMUX1.bit.GPIO65 = 3; // XD14 GpioCtrlRegs.GPCMUX1.bit.GPIO66 = 3; // XD13 GpioCtrlRegs....
嵌入式深度学习运用的思路
晨凫追风
05-27 6134
hit2015spring晨凫追风\frac{hit2015spring}{晨凫追风} 欢迎关注我的博客晨凫追风 本文为原创作品，未经本人同意，禁止转载，禁止用于商业用途！加快神经网络模型在硬件计算平台的计算速度主要有：修改神经网络模型降低权重精度 通过权重剪枝加快框架的执行时间优化矩阵之间的乘法（GEMM）类的通用计算 如NNPACK 将网络模型和权重配置转换成针对目标平台的代码，并对代码进行优
深度学习的三种硬件方案：ASIC，FPGA，GPU；你更看好？
seahillpass的专栏
07-20 2万+
原文链接：http://www.sohu.com/a/123574005_465947 深度学习的三种硬件方案：ASIC，FPGA，GPU；你更看好？ 2017-01-06 10:59 硬件十万个为什么 今天被罗振宇的跨年演讲刷爆了朋友圈。不过他讲深度学习和GPU的时候，真让人虐心。 显卡的处理器称为图形处理器（GPU），它是显卡的“心脏”，与CP
DSP48E2 Slice 上优化 INT8 深度学习运算分析
kebu12345678的博客
08-09 2724
赛灵思 INT8 优化为深度学习推断提供了性能最佳、能效最高的计算技术。赛灵思的集成式 DSP 架构与其他 FPGA DSP 架构相比，在INT8 深度学习运算上能实现 1.75 倍的解决方案级性能。 概要 本白皮书旨在探索实现在赛灵思 DSP48E2 Slice 上的 INT8 深度学习运算，以及与其他 FPGA 的对比情况。在相同资源数量情况下，赛灵思的 DSP 架构凭借 INT8在 IN...
深度学习框架Keras使用心得
热门推荐
xjcvip007的博客
10-12 4万+
最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一篇是聊聊开始使用keras容易遇到的坑，第二篇会在我论文发了之后，连同代
探索深度学习原理：GPU与Caffe、TensorFlow的实战比较
最后，作者引用了一个例子，展示了在实际开发中如何使用GPU加速深度学习模型，即"Show me the code"的心态，鼓励读者动手实践并理解深度学习框架的底层工作原理。 这篇文章提供了深度学习基础中的实用洞察，特别是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

释怀°Believe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值