Sparse-YOLO: Hardware/Software Co-Design of an FPGA Accelerator for YOLOv2

最新推荐文章于 2024-08-20 10:11:45 发布
最新推荐文章于 2024-08-20 10:11:45 发布
阅读量1.1k 收藏 6
点赞数 4
分类专栏： Paper 文章标签： 算法 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41663008/article/details/116197519
版权
该文提出一种针对CPU+FPGA异构平台的YOLOv2软硬件协同设计方法，利用ABM-SpConv算法进行稀疏卷积，减少计算量7倍。通过神经网络剪枝、聚类和量化优化，提升硬件效率。介绍了基于FPGA的加速器设计流程，包括数据加载存储、稀疏卷积单元、硬件最大池化单元等，并探讨了两种HW/SW分区策略。
摘要由CSDN通过智能技术生成

Sparse-YOLO: Hardware/Software Co-Design of an FPGA Accelerator for YOLOv2

ABSTRACT

  YOLO是最流行的检测框架之一，它在速度和准确性之间进行了最佳的权衡。然而，由于CNN固有的高计算工作量，在针对低能耗的高通量处理时仍然具有挑战性。该方法提出一种针对CPU+ FPGA异构平台的软硬件协同设计方法。首先，将一种新的稀疏卷积算法扩展到YOLOv2框架中，然后开发了一种基于异步执行并行卷积核的资源高效FPGA加速架构。其次，引入了硬件感知神经网络剪枝、聚类和量化等算法级优化方案，成功地将YOLOv2算法的计算量节省了7倍;最后，提出了一种基于FPGA的加速器设计的端到端设计空间探索流程，研究并实现了两种硬件/软件分区策略。

1 介绍

  虽然CNN是计算密集型的，但最近的研究表明通过对用于推理计算的CNN模型进行权重剪枝和量化，可以显著降低计算工作量和内存带宽需求。在硬件层面，还研究了专用加速器/处理器，以利用卷积算法固有的并行性，进一步加快计算速度。
  在所有的硬件平台中，现场可编程门阵列(fpga)由于其灵活的架构(包括大量处理元件、片上存储块和可重构互连)而受到越来越多的关注，非常低的功耗和快速的开发周期(特别是借助基于高级合成(HLS)的工具)。
  根据一些现有基于FPGA加速的YOLO算法可以分成三类：

  1. 第一个设计利用了CNN推理计算固有的并行性，以一种直接的方式执行空间卷积算法，在大量的数字信号处理器(DSP)块上执行大量的乘法累加(MAC)操作。
  2. 另一类方案用低位或单位逻辑运算(如AND或XOR)代替DSP对MAC运算的要求，使FPGA的逻辑资源通常比DSP块更丰富。可以开发更高效的硬件电路，打破片上DSP资源的限制。
  3. 第三种类型的加速器利用先进的卷积算法，如频域卷积方案，在硬件设计上，与直接的空间卷积算法相比，减少了计算工作量(即MAC操作的数量)，反过来，为所实施的加速器获得了可观的性能增益。

  
  本文主要贡献：

  1. 针对基于CPU+ fpga的异构计算平台开发了专用加速器架构。
  2. 提出了一种端到端软硬件协同设计(HW-SW)工作流程，涵盖了从算法级神经网络压缩到硬件级秒级电路设计和体系结构设计空间探索(DSE)的所有重要研究课题。
  3. 针对不同的硬件设置，提出了两种HW/SW分区策略。

2 背景

2.1 YOLOv2算法

在这里插入图片描述

2.2 ABM-SpConv算法

  ABM-SpConv算法是一种特殊的稀疏卷积方法，旨在灵活平衡地利用FPGA加速器的片上逻辑和DSP资源。该方案的核心思想是将卷积计算中涉及到的累加和乘运算解耦为两个独立的阶段，通过共享唯一的量化权值，使乘法的计算复杂度降低到一个较低的累加速率。它的主要优点是，当在FPGA设备上实现稀疏卷积计算时，显著放松了对乘法器(DSP单元)的资源需求。
  在FPGA上实现ABM-SpConv方案时，为了实现最大的效率和最高的吞吐量&#

最低0.47元/天 解锁文章
Hevis_Lee
关注
专栏目录
A Novel FPGA Accelerator Design for Real-Time and Ultra-Low Power Deep Convolutional Neural Networks
qq_41663008的博客
04-26 468
A Novel FPGA Accelerator Design for Real-Time and Ultra-Low Power Deep Convolutional Neural Networks Compared With Titan X GPUAbstart1.Introduction2.Background2.1 Related Work2.2 FPGA实现方法2.3 CNN_FPGA3.基于FPGA的CNN加速并行、流水线建模3.1 三维卷积运算的高速并行设计3.2 CNN加速的并行、流水线设计
软硬件划分论文阅读系列 1 --Hardware-Software Co-Design of Embedded Reconfigurable Architectures
Sarah_Pker的专栏
03-18 420
  这篇论文侧重于从全局的角度来进行软硬件划分，提高整体的效率。  1.  用ILP指令层的并行来划分。  2.  对执行的路径进行追踪，获取在软件中执行的时间，在硬件中执行的时间，软件与硬件之间的传输时间，以及配置所需要的时间。       找到循环中最能提高运行效率的，进行优化。  3.  从不同版本的硬件内核中选择最优的。考虑硬件的延迟以及硬件空间不足的问题。  论文分析
YoloV3 在FPGA上运行-量化、编译和推理
OpenFPGA的博客
08-08 859
YoloV3 在FPGA上运行-量化、编译和推理在Yolo这个复杂度级别的神经网络基本很少从零开始使用HDL搭建了，基本借助于FPGA厂商推出的AI工具链（AMD的Vitis AI/Intel的OpenVINO）可以快速搭建基于神经网络的应用。今天搭建基于 Yolov3 在FPGA上运行对象检测的示例，侧重过程。YoloV3 架构YOLOv3（You Only Look Once Version ...
【电子技术】【2013.06】FPGA硬件加速器——设计方法和权衡的案例研究
weixin_42825609的博客
01-21 651
本文为美国罗切斯特理工学院（作者：Matthew V. Ryan）的硕士论文，共65页。 以前的研究表明，任何计算的性能都与执行它的体系结构直接相关。因此，使用异构系统可以提高计算密集型应用程序的性能。这些系统由各种处理器架构组成，如CPU、FPGA、DSP和GPU。单个计算可以在异构系统中的不同处理器架构上并行执行。通过利用实现库中的现有设计来执行计算。这些库中缺少FPGA加速器，因此需要设计额外的实现函数。 开发FPGA加速器的不同设计方法导致实现在性能、设计时间和资源利用率方面各不相同。一个特定的方.
《智能计算系统》课程报告——《An Efficient FPGA Accelerator Optimized for High Throughput Sparse CNN Inference》学习笔记
墨门
09-27 416
1 摘要 剪枝技术能够对CNN模型进行压缩，通过不重要权重置零来降低大型CNN模型的工作量。然而，对于硬件架构来说，通过高并行来载入和操作非零数据是一项巨大的挑战，这是由于减枝权重的位置是随机的。为了解决这个问题，本文提出了一项稀疏感知的CNN加速其，来处理不规则减枝的CNN模型。本文设计了一宗可选的池化架构来挑选出由非零权重选择所需的随机激活操作。这里使用了一种三位结构来缓解随机非零权值和高并发带来的负载不均衡。此外，还设计了专门的索引方法来配合池化架构来完成整个稀疏数据流。提出的稀疏感知CNN加速器在
【读书笔记】《深度神经网络FPGA设计与实现》（孙其功）第七章 基于FPGA实现YOLO V2模型计算加速实例分析
qq_45355365的博客
07-21 1552
【读书笔记】《深度神经网络FPGA设计与实现》（孙其功）第七章 基于FPGA实现YOLO V2模型计算加速实例分析
[Sparse R-CNN]Sparse R-CNN: End-to-End Object Detection with Learnable Proposals (CVPR. 2021)
Ah丶Weii
12-23 1728
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals paper:https://arxiv.org/pdf/2011.12450.pdf code:https://github.com/PeizeSun/SparseR-CNN Abstract 作者提出了Sparse R-CNN，一种对于图像目标检测的sparse方法，一种固定的可学习目标候选框，总数量为N，用于目标识别，来进行分类和定位。通过将H x W x K个手工设定的
【图像检测】基于YoloV4实现点云上实时 3D 对象检测附论文和python代码.zip
06-13
The capacity of inferencing highly sparse 3D data in real-time is an ill-posed problem for lots of other application areas besides automated vehicles, e.g. augmented reality, personal robotics or ...
CVPR 2021 Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors for Place Recognition
smile909的博客
03-27 2006
视觉场景识别对机器人和自主系统来说是一项具有挑战性的任务，它必须在一个不断变化的世界中解决因外观、照明以及视点变化所产生的问题。 本论文提出了一种新的条件和视点不变的视觉场景识别系统（Patch-NetVLAD）（如下图所示），它从每幅图像的特征空间的一组小块中提取局部-全局特征，通过局部-全局特征的穷举匹配获得空间得分，以获得两幅图像之间的相似度，从而测量这些图像之间的空间和外观一致性。局部-全局特征是在特征空间中使用一种vpr优化的聚合技术(论文采用NetVLAD)对密集采样的局部小块提取得到，产生一.
SyntaxError: (unicode error) ‘unicodeescape‘ codec can‘t decode bytes in position 2-3: truncated \UX
热门推荐
weixin_47869094的博客
04-12 1万+
这个错误是因为在路径字符串中使用了反斜杠 ()，这是Python中的转义字符。当Python解释器尝试解释字符串中的转义序列时，它无法识别反斜杠后面的字符，因此会引发 SyntaxError 错误。使用原始字符串 (r"") 来表示路径字符串，这将禁用Python解释器对反斜杠的转义。在路径字符串中使用双反斜杠 () 替换单个反斜杠 ()。
0yolov2_xilinx_fpga-flex.zip
03-19
0yolov2_xilinx_fpga-flex.zip
PYNQ实现yolov2 tiny目标检测算法，加速CNN加器HLS编写，HDMI显示及USB摄像头输入，FPGA处理0.3s一帧，总时间1s左右，PYNQ实现yolov2 tiny目标检测算法，加速
nttNShUG的博客
07-07 333
通过使用HLS工具编写CNN加速器、实现HDMI显示、使用USB摄像头作为输入设备、使用FPGA进行硬件加速和使用Python以及PYNQ框架开发驱动程序，我们可以在PYNQ平台上实现一个高效、实时的目标检测系统。因此，PYNQ平台的yolov2 tiny目标检测算法实现具有重要的应用价值和发展前景，对于推动人工智能和深度学习的发展具有积极的促进作用。通过该系统，我们可以快速准确地检测并识别出图像中的目标物体，为人工智能和深度学习在物体识别、无人驾驶、智能安防等领域的应用提供强大的支持。
YOLOv2 for Xilinx FPGA: 实现目标检测的硬件加速
最新发布
gitblog_00559的博客
08-20 335
YOLOv2 for Xilinx FPGA: 实现目标检测的硬件加速 yolov2_xilinx_fpgaA demo for accelerating YOLOv2 in xilinx's fpga pynq/zedboard项目地址:https://gitcode.com/gh_mirrors/yo/yolov2_xilinx_fpga 项目介绍 YOLOv2_Xilinx_FPGA 是一...
fpga yolo
xiuxin121的博客
10-25 5306
https://github.com/czy2014hust/zynqyolo
基于FPGA实现了类YOLO的轻量化的CNN加速器
qhCMzpw的博客
01-29 1214
在本文中，我们基于FPGA实现了一种类YOLO的轻量化CNN加速器，旨在提高物体检测和特定识别的效率。总结起来，我们基于FPGA实现了一种类YOLO的轻量化CNN加速器，通过在zynq7020平台上的验证，证明了其在物体检测和特定识别任务上的优越性能。未来，我们将进一步优化算法和硬件架构，提高加速器的性能，并将其应用到更多实际场景中，为物体检测和特定识别领域的发展做出贡献。通过在zynq7020平台上的验证，我们发现我们的FPGA实现的轻量化CNN加速器在物体检测和特定识别任务上表现出色。
yolov3-tiny神经网络FPGA（ZYNQ7020）实现
QQ_778132974的博客
01-10 1万+
本文介绍使用ZYNQ实现yolov3-tiny，下图为ZYNQ上ARM与FPGA交互框图： 通过HLS将设计得每层网络进行封装IP核，在vivado进行调用：下图为the convolution, accumulation, max pooling, upsample and yolo blocks之间得连接。 下图为vivado上设计block框图： 下图对其中一个模块yolo_acc模块得仿真图： 本文有完整工程代码及仿真测试代码！ ...
yolov3的fpga实现
qq_31514061的博客
12-02 1万+
基于hls的YOLOV3在fpga上的实现 软件测试结果如下，后面更新硬件算法
bash: .get/info/sparse-checkout: No such file or directory
07-28
这个错误提示是因为系统找不到文件或目录".get/info/sparse-checkout"。根据提供的引用内容，这个错误可能与ROS（机器人操作系统）的安装和配置有关。引用\[1\]和\[2\]中的命令是用于设置ROS环境变量和编译ROS工作...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值