文献笔记（32）2020软硬件协同优化

最新推荐文章于 2024-11-06 09:53:11 发布
最新推荐文章于 2024-11-06 09:53:11 发布
阅读量776 收藏 1
点赞数
分类专栏： NPU 文章标签： 硬件架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiaozhanzhe1900/article/details/115796891
版权
本文介绍三种不同的CNN加速器设计方案：基于软硬件协同优化的方法提高性能；SmartExchange通过压缩技术实现成本效益；unzipFPGA利用权重实时生成降低存储需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

  • 题目：High Performance CNN Accelerators Based on Hardware and Algorithm Co-Optimization
  • 时间：2020
  • 期刊：TCAS-1
  • 研究机构：南大

1 introduction

本篇论文的主要贡献：软硬件协同优化

  1. 网络压缩：将网络层分成两种：不剪枝的层与剪枝的层，剪枝的层网络压缩率较高，不剪枝的层取数比较规则
  2. 剪枝的层：量化成2的指数，只用移位加法
  3. 不剪枝的层：基于FIR滤波器计算卷积

在这里插入图片描述
前面几层权重规模小，且更敏感，最好不剪枝；后面几层权重规模很大，更容易冗余，适合剪枝。

2 硬件架构

基于FIR的卷积结构，计算非剪枝层
在这里插入图片描述
对于剪枝的层，需要decode + 移位器 + 加法术
在这里插入图片描述

3 实验结果

  • 网络层: VGG16
  • FPGA: VCU118
    在这里插入图片描述
    在这里插入图片描述
  • 题目：SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation
  • 时间：2020
  • 会议：ISCA
  • 研究机构：莱斯大学

1 introduction

本篇论文的主要贡献：

  1. 融合了剪枝、量化、张量分解，提出了一个压缩方法SmartExchange，本质为通过基向量乘一个较大的稀疏矩阵，得到不同层的权重
  2. 软硬件协同优化，软件上压缩+硬件加速器RTL设计

在这里插入图片描述

  • 题目：unzipFPGA: Enhancing FPGA-based CNN Engines with On-the-Fly Weights Generation
  • 时间：2021
  • 会议：FCCM
  • 研究机构：三星/牛津

1 introduction

思路就是不直接存权重，而是在需要的时候计算生成，节省权重存储的开销，其实就是计算换存储，减少片外访存次数。
本次实验是用OVSF编码压缩权重的
在这里插入图片描述

基于STM32设计的智能教室管理系统_127
07-28 7484
本文介绍了一个智慧教室的设计，该设计由电器设备控制系统、环境检测系统和考勤系统三大模块构成。通过使用STM32微处理器和物联网电器设备控制中心，实现对教室内风扇、照明灯和窗帘等电器设备的智能化统一控制与运行。同时，环境检测系统可以实时监测环境光强、温度、湿度和烟雾浓度等信息，并在大屏幕上综合显示教室的舒适程度。此外，考勤系统通过建立数据库记录学生的考勤情况，使用RFID学生卡和摄像头进行考勤识别，并保存学生图像以确保考勤的真实性。
基于STM32的录音机设计(STM32F103+VS1053B)
06-10 10000
本项目设计并实现了一款基于STM32微控制器的便携式录音机。该录音机采用STM32F103C8T6作为主控芯片，结合VS1053B音频编解码模块、SD卡存储、OLED显示屏以及按键模块，提供了手动录音、自动录音和录音回放等多种功能。
软硬协同优化 (2)：软硬件预取技术漫谈
2301_76434200的博客
08-25 340
背景伴随着摩尔定律近30年的持续生效，CPU的运算速度迅速提升，而存储器(主要是内存)的速度提升相对较慢。这导致了存储器与CPU之间的速度差异，也称为存储器墙(Memory Wall)。当CPU执行指令时，如果需要从内存中读取数据或指令，由于存储器速度的限制，CPU可能需要等待访存操作完成，从而导致性能瓶颈。现代计算机系统为了解决访存瓶颈问题，一般采用了多级缓存和内存层次结构，包括L1、L2、L3...
陈冠诚：Hadoop系统的软硬件协同优化
weixin_33896726的博客
09-01 180
文章讲的是陈冠诚：Hadoop系统的软硬件协同优化，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技...
超星未来梁爽：软硬件协同优化，赋能AI 2.0新时代
爱云资讯的博客
07-22 1056
目前很多手机端本地部署的2B以内的“小”模型，在应用到边缘侧场景时，通常会出现历史信息遗忘等能力限制，而需求量更大、效果显著提升的7B量级以上的大模型，通常难以部署到现有的边缘侧芯片上，主要原因包括：（1）传统架构矩阵算力缺口明显，大模型中50-80%算力需求在Attention层中的各类矩阵计算，并且KV矩阵有明显稀疏性，需要专项支持；虽然两者的系统组成和迭代升级高度相似，但机器人的维度更高、任务更复杂，大模型下沉部署到边缘侧的设备里，形成一个“Robot-Brain”，会成为行业发展的关键。
今晚8:00 | CEI Lab 软硬件协同优化专题，顶会MICRO最佳论文作者来啦
AITIME_HY的博客
04-15 448
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！杜克大学 CEI Lab杜克计算进化智能中心（CEI Lab）隶属于杜克大学电子与计算机工程系，在陈怡然教授和李海教授的共同指导下，开展关于处理认知任务的新型计算平台的前沿研究。组内主要研究方向集中在纳米电子元件，新型及仿生的计算体系架构，新型存储器件，嵌入式与边缘计算系统，以及大型神经网络的加速、安全与联邦学习。...
如何推进软硬件协同优化，点亮 AI 新时代？
最新发布
weixin_60347558的博客
11-06 819
围绕 AI、操作系统、 Arm 生态等关键技术和领域，深入探讨了 AI 技术与操作系统的融合。
合肥工业大学《系统硬件综合设计》（《计算机组成原理》，CPU）课程设计报告（2020）
u25th_engineer的博客
09-12 9686
文章目录1 课程设计概述1.1 设计目的1.2 设计任务1.3 设计要求1.4 技术指标2 总体方案设计2.1 MIPS体系结构2.1.1 MIPS寄存器2.1.2 MIPS指令集2.1.3 MIPS五级流水线2.2 流水CPU设计2.2.1 总体设计2.2.2 流水接口部件设计2.3 数据转发流水线设计2.4 气泡式流水线设计3 详细设计与实现3.1 流水CPU实现3.1.1 流水接口部件实现3.1.2 数据通路实现3.1.3 五段流水线寄存器模块待更新 1 课程设计概述 1.1 设计目的   计算机组
复试准备 | 情报学基础教程简要笔记
是希望的博客
05-08 3733
《情报学基础教程》一书的简要笔记，仅供参考
重庆市电子信息产业结构优化研究——基于“垂直整合”与“低碳约束”的分析.pdf
08-24
尤其是硬件制造业的比重过大，软件和服务产业相对较弱，这一“硬重软轻”的现象影响了产业结构的均衡发展。此外，随着全球低碳经济的兴起，重庆市电子信息产业在能耗和碳排放方面也面临着较大的压力。企业虽然在节能...
如何利用软硬深度结合优化云硬件
weixin_34162629的博客
11-03 303
本文PPT来自阿里巴巴基础架构事业群架构师希有于10月16日在2016年杭州云栖大会上发表的《软硬深度结合的云硬件优化实践》。 随着金融、物流、电商、云计算和媒体这五大平台的迅猛发展，全业务在大规模、高效率、质量、软硬结合和技术驱动这五个方面对基础设施提出了挑战。其中在云计算和大数据环境下如何实现软硬结合引发了众多工程师们的思考和实践。 软硬结合实践主要...
张量分解：优化神经网络性能
AI天才研究院
07-04 5097
作者：禅与计算机程序设计艺术 张量分解：优化神经网络性能 引言 1.1. 背景介绍 随着深度学习技术的快速发展，神经网络在各种领域取得了巨大的成功。然而，如何提高神经网络的性能 remains 是一个值得讨论的课题。
生成式语言大模型压缩技术思考——以ChatGPT为例
AI Flash
02-26 6851
ChatGPT是基于GPT3.5（1750亿参数规模）训练获得的，其模型结构为Decoder-only单向掩码架构，推理部署需要多卡分布式推理调度的支持。
软硬件协同设计方法
weixin_43689808的博客
01-20 866
硬件加速
深度学习论文理解3：Flexible, high performance convolutional neural networks for image classification
whiteinblue的专栏
01-26 3498
本文是11年Dan C.Ciresan的作品，主要贡献是提供了一种快速，全GPU部署的CNN计算框架，通过快速的GPU计算可以让作者尝试相对以前的神经网络更深的CNN，而且是仅仅使用监督学习的方式。 本来不想写本文的总结的，但是最近看了ImageNet上取得好成绩的网络，都是通过GPU（caffe，convnet）部署，仅仅通过监督学习的方式来训练更加深的CNN，所以打算总结一下本文，作为在GP
基于FPGA实现的MobileNet V1，FPGA深度学习加速器设计 CNN Accelerators based on FPGAs
是否龍磊磊真的一无所有的博客
11-21 4839
Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs 最近arXiv上挂出来一篇文章，采用FPGA实现MobileNet V1，并且完全是不借助片外资源，用的是on-chip memory，没有利用off-chip RAM。整个模型在FPGA的内部有限资源上实现的。能够使得帧率在30...
软硬件协同调优案例解读：活用CPU SIMD加速技术为软件提速
ly945143215的博客
09-19 866
来自OptimizeLab：我们是一群活跃于国内外开源社区，使用各种优化技术追求极致性能的开源工作者。本文是我们在CSDN发布的第一篇文章，通过Go语言开源社区在ARM64平台对通用字符串比较的优化方案，向读者介绍如何通过SIMD并行化技术提升软件的执行速度。OptimizeLab项目:https://github.com/OptimizeLab/docs 作者：陈硕 首发于https://opensource.huawei.com/classroom.html?zid=0 SIMD即单指令多数..
干货!通过软硬件协同设计加速稀疏神经网络
AITIME_HY的博客
07-05 923
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！通过剪枝去除冗余权值是一种常见的压缩神经网络的方法。然而，由于剪枝所生成的稀疏模式较为随机，难以有效被硬件利用，之前方法实现的压缩比与硬件上实际时间的推理加速有较大的差距。而结构化剪枝方法又因为对剪枝过程加以限制，只能实现较为有限的压缩比。为了解决这一问题，本工作中，我们设计了一种硬件友好的压缩方法。通过分解原始权...
协同优化算法
lcj_cjfykx的专栏
06-14 5867
协同优化算法 维基百科，自由的百科全书 跳转到： 导航,搜索 协同优化算法的原理是将一复杂的目标函数分解成简单的子目标函数，然后再将这些子目标函数进行协同优化。具体说来，协同优化是在优化每一子目标函数同时综合考虑其它子目标函数的结果，使子目标函数之间的优化结果能够一致。优化结果一致是指使每一变量的值在每一子目标函数的优化结果中能够一致。一般来说，可以证明，如果变量的值一致则为最优
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值