【超详细教程(附源码)】用FPGA加速卷积神经网络CNN运算

最新推荐文章于 2024-04-19 21:52:04 发布
置顶 VIP文章 最新推荐文章于 2024-04-19 21:52:04 发布
阅读量2.7w 收藏 466
点赞数 45
文章标签： FPGA 卷积神经网络 CNN 深度学习 人工智能芯片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Walker_Lau/article/details/90728839
版权

【超详细教程(附源码)】用FPGA加速卷积神经网络CNN运算

原创教程，转载请联系作者并注明出处：https://github.com/WalkerLau

源码地址：https://github.com/WalkerLau/Accelerating-CNN-with-FPGA

最近发现很多小伙伴都想用FPGA加速卷积神经网络运算，而恰好我刚做完的本科毕设就是这个题目，所以就有了写这个教程的想法，希望能给还没开始的小伙伴一点思路与帮助，更希望大神们给出一些进一步优化的建议。

最终加速性能

话不多说，先看最终的加速效果。本加速系统仅加速卷积层的运算，下图展示了仅采用CPU和采用CPU+FPGA加速系统来处理VIPLFaceNet人脸识别算法时，计算7个卷积层所耗费的时钟数的对比。由图可见，相比于4核ARM A53处理器，本加速系统最终可以对VIPLFaceNet的大部分卷积层实现45~75倍的运算加速。

项目描述及特点

本加速系统采用中科院计算所的SeetaFace人脸识别项目进行加速功能的验证，所用的卷积神经网络模型是VIPLFaceNet。本项目的设计工具是Xilinx SDSOC，个人认为这是个人或小团队进行FPGA嵌入式开发最高效的工具，因此不会涉及HDL的编写。本加速系统具有以下特点：

  • 容易移植：本项目采用Xilinx SDSOC进行设计，可以直接把C/C++代码综合成FPGA电路，只需修改FPGA加速模块的代码中卷积层结构相关的参数就可以移植到别的卷积神经网络算法中。

  • 高性能，采用了如下几种加速策略，具体原理见最后一节：

    • 独创的输入体复用架构

    • 数据的低精度转换

    • 16通道并行计算单元及加法树结构

    • 流水线策略

    • 片上存储BRAM的partition及卷积层间共享

    • 多层卷积的加速实施策略

你需要准备什么？

  • 硬件：

    • Xilinx Ultrascale+ MPSOC ZCU102 (也可以用ZCU104或其他合适的Xilinx嵌入式开发板)

  • 软件：

    • Ubuntu 16.04 操作系统（用于安装和运行SDSOC，由于后面需要编译板载Linux系统，必须使用Linux主机不能用Windows，以下所有开发都在Linux环境中进行）

    • Xilinx SDSOC 2018.2 开发套件（戳这里的SDSOC安装及配置教程，请务必跟教程走）

    • Xilinx reVISION platform（由于SeetaFace的小部分代码用到了OpenCV，这里安装reVISION是为了使用里面的xfopencv库，上一项的SDSOC安装教程详细讲了reVISION的安装与使用方法）

    • [可选，建议安装] CodeBlocks（用于对算法程序进行离板调试）

    • [可选，建议安装] 安装OpenCV 2.4.13.6（SeetaFace的小部分代码用到了OpenCV，用于对算法程序进行离板调试）

  • 一些基本知识：

最低0.47元/天 解锁文章
Walker_Lau
关注
  • 45
    点赞
  • 踩
  • 466
    收藏
    觉得还不错? 一键收藏
  • 25
    评论
【FPGA教程案例58】深度学习案例5——基于FPGA的CNN卷积神经网络之图像缓存verilog实现
FPGA/MATLAB学习教程/源码/项目合作开发
08-24 1612
​ 在课程54.深度学习案例1——基于FPGA的CNN卷积神经网络之理论分析和FPGA模块划分，我们对CNN的基本原理有了初步认识。 在上一个课程，我们完成了CNN的Relu激活层、pool池化层、卷积层的FPGA实现，如下图所示： ​
【FPGA教程案例54】深度学习案例1——基于FPGA的CNN卷积神经网络之理论分析和FPGA模块划分
FPGA/MATLAB学习教程/源码/项目合作开发
08-20 1543
深度学习神经网络（deep learning network）是一种全新的具有多个网络隐含层的网络模型。深度学习神经网络的概念最早是由Hinton等人在2006年发表的一篇名为《科学中的深度学习》的论文中被首次提及的。其快速发展主要是在2012年以后，深度学习的理论方面取得了越来越多的突破，主要包括Resnet deeper network、CNN、R-CNN、Fast R-CNN、Faster R-CNN、LSTM等。
神经网络从算法训练到FPGA部署 (1)--开发流程说明
拾贝壳的大男孩
08-24 7322
将深度神经网络算法部署到现实场景（基于FPGA），主要包含两部分的工作，一个是为场景找到合适的算法，训练出满足要求的模型；第2个是将模型定点化后部署在FPGA上运行，主要含以下步骤： 准备工作：数据收集及TFrecord制作，数据预处理函数编写。 练习时从kaggle网站上获取带标注数据集； 制作训练与验证用的Tfrecord数据文件； ...
基于FPGA加速的卷积神经网络识别系统
10-15
针对卷积神经网络(CNN)在通用CPU以及GPU平台上推断速度慢、功耗大的问题，采用FPGA平台设计了并行化的卷积神经网络推断系统。通过运算资源重用、并行处理数据和流水线设计，并利用全连接层的稀疏性设计稀疏矩阵乘法器，大大提高运算速度，减少资源的使用。系统测试使用ORL人脸数据库，实验结果表明，在100 MHz工作频率下，模型推断性能分别是CPU的10.24倍，是GPU的3.08倍，是基准版本的1.56倍，而功率还不到2 W。最终在模型压缩了4倍的情况下，系统识别准确率为95%。
卷积层详解
ss20211121的博客
03-11 1539
卷积神经网络卷积层在pycharm中实现并可视化展示
从FPGA说起的深度学习（一）
OpenFPGA的博客
01-30 1774
这是新的系列教程，在本教程中，我们将介绍使用 FPGA 实现深度学习的技术，深度学习是近年来人工智能领域的热门话题。在本教程中，旨在加深对深度学习和 FPGA 的理解。用 C/C++ 编写深度学习推理代码高级综合 (HLS) 将 C/C++ 代码转换为硬件描述语言FPGA 运行验证在第一篇文章中，将解释“什么是深度学习”和“使用 FPGA 进行深度学习的好处”。什么是深度学习为了解释深度学习，有必...
FPGA加速BCNN
qq_56881353的博客
11-06 575
对于许多信号处理应用来说，能够从具有相位信息的复数数据中进行学习是必不可少的。当前实值深度神经网络（DNN）在潜在信息分析方面表现出了较高的效率，但在复数领域的应用还不够。而深度复数网络（Deep complex networks, DCN）可以从复数数据中学习，但计算成本较高，因此，这些技术都不能满足可部署系统处理短观测或短信号突发的即时决策需求。近年来，将 DCN 与二值化神经网络（BNN） 相结合的二值化复数神经网络 （BCNN），在实时分类复数数据方面显示出巨大潜力。 实现这一高性能的结果来自
【FPGA教程案例55】深度学习案例2——基于FPGA的CNN卷积神经网络之ReLu激活层verilog实现
FPGA/MATLAB学习教程/源码/项目合作开发
08-21 1739
在本课程中，我们将对CNN的ReLu函数模块的FPGA实现做详细的介绍和学习。从仿真结果可知，通过Rule激活函数之后，小于的输入数据输出为0，否则输出是输入本身。，我们对CNN的基本原理有了初步认识。ReLu函数具备如下优缺点。按照课程1相似的操作方式。
基于FPGA的CNN卷积神经网络加速器
capa_shi的博客
07-20 9070
目录 1、本文背景 2、高级设计 2.1数学概述： 3、硬件设计 3.1 输入图像 3.2 VGA/摄像头 3.3卷积第一层 3.4 池化层 3.4 卷积第二层 3.5部分和 3.6第一个全连接层 3.7第二个全连接层 4、软件设计 5、系统设计 6、测试 7、硬件错误和问题 8、结果 10、可用性 11、结论 12、知识产权注意事项 13、改进和未来工作 14、Verilog代码和C代码 1、本文背景 神经网络是一种基于大脑神经网络的机器学习模型..
深度学习FPGA实现基础知识14(如何理解“卷积”运算)
时间的诗
06-13 5457
需求说明：深度学习FPGA实现知识储备 来自：http://blog.sina.com.cn/s/blog_80556b34010186hf.html 正文： 卷积这个东东是“信号与系统”中论述系统对输入信号的响应而提出的。因为是对模拟信号论述的，所以常常带有繁琐的算术推倒，很简单的问题的本质常常就被一大堆公式淹没了，那么卷积究竟物理意义怎么样呢？ 卷积表示为y(n) = x(
神经网络的FPGA实现：卷积层操作(二)
Jason的博客
09-22 1703
神经网络的FPGA实现：基础卷积操作(一) RGB三通道 Verilog HDL Xilinx VIVADO conv_pe.v文件在上述链接中 `timescale 1ns / 1ps module conv_layer#( parameter CHANNEL_IN=3, //输入图像的通道R G B parameter CHANNEL_OUT=1 //输出图像的通道 )( input clk,//时钟 input rst,//复位 input input_weight_en, //权值使
MATLAB实现CNN卷积神经网络时间序列预测（完整源码和数据）
10-13
MATLAB实现CNN卷积神经网络时间序列预测（完整源码和数据） 数据为单变量时间序列数据， 运行环境MATLAB2018b及以上， 一种基于cnn的时间序列预测方法，采用确定好的cnn模型对所述分量数据进行预测，得到所述预测时间点对应的预测结果。
最简单的CNN卷积神经网络讲解，附源码可运行
01-15
带教程完整的cnn 运行源码，最简单的CNN
MATLAB实现CNN卷积神经网络多特征分类预测（完整源码和数据）
10-13
MATLAB实现CNN卷积神经网络多特征分类预测（完整源码和数据） 数据多特征分类数据，输入15个特征，分四类。 运行环境MATLAB2018b及以上，CNN的基本结构由输入层、卷积层、池化层，也称为取样层、全连接层及输出层构成。
MATLAB实现CNN卷积神经网络多输入回归预测（完整源码和数据）
10-13
MATLAB实现CNN卷积神经网络多输入回归预测（完整源码和数据） 数据为多输入回归数据，输入7个特征，输出1个变量。 运行环境MATLAB2018b及以上。
卷积神经网络的卷积核参数如何更新-【超详细教程（附源码）】如何用FPGA加速卷积神经网络C。。。 fpga开发.pdf
04-22
卷积神经网络的卷积核参数如何更新-【超详细教程（附源码）】如何用FPGA加速卷积神经网络C。。。 fpga开发.pdf
深度学习每周学习总结P5（运动鞋识别）
最新发布
qq_33489955的博客
04-19 296
数据导入及处理部分：本次数据导入没有使用torchvision自带的数据集，需要将原始数据进行处理包括数据导入，数据类型转换。划分数据集：划定训练集测试集后，再使用torch.utils.data中的DataLoader()加载数据.注意：与之前不同的是，本次的数据集是已经划分好的。模型构建部分：有两个部分一个初始化部分（init()）列出了网络结构的所有层，比如卷积层池化层等。第二个部分是前向传播部分，定义了数据在各层的处理过程。
深度学习配置环境AllInOne
周陽讀書
04-19 656
总结深度学校ubuntu环境配置。
分类预测 | Matlab实现基于迁移学习和GASF-CNN-Mutilhead-Attention格拉姆角场和卷积网络多头注意力机制多特征分类预测/故障识别
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
04-13 1077
分类预测 | Matlab实现基于迁移学习和GASF-CNN-Mutilhead-Attention格拉姆角场和卷积网络多头注意力机制多特征分类预测/故障识别
用fpga加速卷积神经网络cnn源码
09-08
FPGA（Field Programmable Gate Array）是一种可编程的逻辑器件，可以用于加速卷积神经网络（CNN）的源码。在传统的软件实现中，CNN的计算是由通用CPU完成的，但是由于CNN计算复杂度高，处理大量的图像数据需要较长的时间。而使用FPGA加速CNN可以提高计算效率。 首先，我们可以将CNN的计算任务通过编程的方式映射到FPGA上。FPGA提供了大量的可编程逻辑单元和存储器单元，可以根据CNN的计算需求进行合理的设计和配置。可以使用硬件描述语言（HDL）如Verilog或VHDL来编写FPGA的逻辑设计，描述网络层的计算过程。 然后，FPGA可以并行地执行卷积运算。CNN中的卷积操作是非常耗时的，通过在FPGA上进行并行计算，可以大大加快卷积运算的速度。FPGA可以同时处理多个卷积核与输入特征图之间的计算，提高了计算效率。 此外，FPGA还可以用于实现高速的存储器访问。CNN中的卷积运算需要大量的权重参数和中间结果的存储，而FPGA可以配置高速缓存和存储单元，提供快速的数据传输和访问速度。这样可以减少内存访问的延迟，进一步提高计算效率。 最后，FPGA还可以通过定制化设计来减少能耗。因为FPGA上的逻辑和存储单元是可编程的，可以根据CNN的计算需求来进行优化设计，避免不必要的计算和数据传输，降低功耗消耗，提高计算效率。 综上所述，使用FPGA加速卷积神经网络（CNN）源码可以提高计算效率。通过并行计算、高速存储器访问和定制化设计，FPGA可以加速CNN的计算过程，减少计算时间和能耗，提高性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值