网络的压缩与加速原理

最新推荐文章于 2023-07-03 19:49:52 发布
最新推荐文章于 2023-07-03 19:49:52 发布
阅读量323 收藏 2
点赞数
分类专栏： 深度学习和行人重识别 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s123l4/article/details/106684974
版权

模型压缩与加速概述

必要性、可行性
最终目的：最大程度的减小模型复杂度，减少模型存储需要的空间，也致力于加速模型的训练和推测。
方法概述：前端压缩、后端压缩（极大改造网络结构）

前端压缩

知识蒸馏

采用的是迁移学习，通过预先训练好的教师模型的输出作为监督信号去训练另外一个轻量化网络。
在这里插入图片描述
监督的信息可分为：概率分布、输出的特征、中间层feature map、Attention map|、中间过程

概率分布——KL散度
KL散度，是描述两个概率分布P和Q差异的一种方法，它是非对称的。
在这里插入图片描述
Feature Map——MMD Loss
用最大均值差异损失（MMD Loss）来评估两个域的相似性
在这里插入图片描述
中间过程——L2损失
利用Gram矩阵来拟合层与层之间的关系，然后用l2损失函数来比较教师与学生的gram矩阵。

紧致的网络结构设计

直接设计又小又快又好的网络，这就是紧致网络设计
常见的紧致网络：ShuffleNet、MobileNet v1、MobileNet v1、SqueezeNet

后端压缩

低秩压缩

卷积分解：将dd卷积核分解为d1和1*d卷积核，损失精度小于1%
SVD分解：对矩阵进行SVD分解，仅保留特征值大的几项

剪枝

网络训练完成后，裁剪掉贡献信息量不大的网络参数。
在这里插入图片描述
剪枝方法分类：权重衰减法、灵敏度量化法、根据相关性剪枝

量化

神经网络模型的参数不需要保留很高的精度，通过牺牲精度来降低所占的空间。
量化的对象有：网络权值、网络特征、网络梯度

s123l4
关注
专栏目录
模型压缩与加速原理与代码实战案例讲解
AI天才研究院
06-01 810
1.背景介绍 在人工智能的发展过程中，深度学习模型的规模不断扩大，模型的复杂性也不断提高，这无疑带来了更好的性能和更精确的预测。然而，这种发展的同时也带来了一些问题：模型的规模和复杂性增加，使得模型的训练和推理时间增长，内存和计算资源的需求也随之增加。这对于资源受限的设备（如移动设备和嵌入式设备）来说，是一个巨大的挑战。 模型压缩与加速就
34.网络结构与模型压缩、加速-1
大勇若怯任卷舒
01-31 272
H∗W∗C1​H1​∗W1​∗C1​C2​H1​∗W1​∗C2​AH∗W∗h1∗w1∗c1∗c2BH∗W∗h1∗w1∗c1/g∗c2/g∗gAB​H∗W∗h1∗w1∗c1∗c2H∗W∗h1∗w1∗c1/g∗c2/g∗g​g1​。
神经网络模型压缩与加速
AlgoComp
03-08 5161
介绍神经网络（主要是CNN）模型压缩与加速的常见方法 目标：模型运行速度尽可能快，大小尽可能小，准确率尽可能保持不变 模型压缩 改变网络结构 使用特定结构 如 ShuffleNet, MobileNet, Xception, SqueezeNet MobileNet 把普通卷积操作分成两部分 Depthwise Convolution 计算量 DK⋅DK⋅M⋅D...
神经网络压缩加速
Marshall的专栏
12-06 4023
深度学习模型压缩方法综述（一） 深度网络模型压缩 - CNN Compression 神经网络压缩：Deep Compression 神经网络压缩（1）：Deep Compression Deep Learning（深度学习）之（六）【深度神经网络压缩】Deep Compression （ICLR2016 Best Paper） CNN 模型压缩与加速
《卷积神经网络的压缩与加速》概述
zhanbo86的博客
04-05 472
有四种常用方法：网络剪枝，模型量化，低秩估计，模型蒸馏。 网络剪枝主要有下列几种方法：filter-level剪枝（通过删除filter来减少通道数量），group-level剪枝即kernel-size缩小（如将33变成32，或者3*3变成固定形状包含若干个0的新核），稀疏卷积的方法（fine-grained,vector-level,kernel-level，稀疏矩阵乘法相比于稠密矩阵乘法，...
网络加速和压缩技术论文整理
mingo_敏
05-07 3388
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
几种网络压缩加速方法记录
u010260681的博客
10-21 315
网络压缩和加速
11-23
神经网络压缩论文汇总v0.1（截止到2017-11）.介绍了深度神经网络模型加速和压缩方面的最新进展，对张量分解、乘积量化和三值量化等三种主要加速方法进行分析和比较。
网络加速器的加速原理
the_fire的技术博客
12-22 7635
上次说了，下了个视频加速器，但很想知道他的工作原理是什么。就在网上找。就在维普上找到了，一个两页的pdf文件，结果还是不能看，为啥？要钱呗，一页0.5元。不过幸好有html版的。原理是这样的，我们上网时大多数时间不是在传输数据，而是到处逛一下。所以大多数时间MODEN是处于静止状态了。而网络加速器就是利用了这一空闲，趁你在浏览网页时，预先估计你下一步的动作，然后就利用MODEN将相关的数据下载
卷积神经网络算法模型的压缩与加速算法比较_李思奇1
08-04
卷积神经网络算法模型的压缩与加速算法比较 卷积神经网络（Convolutional Neural Network，CNN）是深度学习领域中的一种常见算法模型，近年来它在图像识别与处理领域的正确率已达到甚至超越人类水平。但是，随着...
迅雷快鸟家庭宽带提速的原理是什么？
Mandy的博客
07-02 2万+
  迅雷快鸟是迅雷与网络运营商合作推出的一项上网加速服务，技术原理为大幅提高用户现有物理宽带带宽，提升上网速度，让你在看视频、游戏、购物、下载文件等场景时享受大带宽畅快加速。有些是用CDN加速的！迅雷快鸟宽带提速的原理是：形式A：当“A网用户”访问被CDN加速的站点 时，从本地的DNS查询域名，最终可能在全局智能DNS服务器得到所访问域名所对应的IP地址，即图所示：A网的缓存服务器的IP；接着A网...
网络压缩简介
weixin_44411120的博客
09-26 607
网络压缩
卷积神经网络中feature map的含义
LittleStudent12的博客
06-21 2万+
       在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。...
attention map注意力可视化 feature map可视化
liudiudiu
09-20 2万+
prepare 1.加载模型，利用get_layer 来获取某一层的参数 （为了attention map） 将attention map，当做二值图片？resize，再与原图相乘 2.每次输入一张图片，利用model.predict获取某一层的feature map的输出 参考 博客1 ...
知识蒸馏学习
最新发布
akaweige的博客
07-03 5560
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
六、网络加速原理-CDN
jysf98746的博客
02-05 317
而同样知名的淘宝则很难做到这点，这是由于京东在全国的各个城市都有自己的仓库系统，可以做到就近配送，而淘宝上都是独立的商家，每件商品都得从原厂地发货过来。而网络环境越来越复杂，传输数据越来越丰富，对网站的访问响应时间带来了一个比较大的挑战，CDN 就是诞生在这样一个环境中，通过负载均衡算法，为请求提供最靠近的响应资源，达到网站的内容加速。CDN 的发展不断在变更，从早期的静态内容，到后面的支持动态内容的加速，再到后面有了边缘计算的概念（CDN 和边缘计算是一种很好的结合，但是边缘计算的概念不限于此）。
卷积中的attention map理解及可视化
热门推荐
Loong Cheng的博客
05-23 2万+
引用 Woo S , Park J , Lee J Y , et al. CBAM: Convolutional Block Attention Module[J]. 2018. 下载 https://arxiv.org/pdf/1807.06521.pdf 转载于： https://www.jianshu.com/p/4fac94eaca91 https://blog.csdn.net/wei...
Network Compression (网络压缩)
连理o的博客
09-22 374
本文为李宏毅 2021 ML 课程的笔记 目录Network CompressionNetwork PruningNetwork PruningWeight pruningNeuron pruningWhy Pruning?Knowledge DistillationParameter QuantizationArchitecture DesignDynamic Computation Network Compression Smaller Model: Deploying ML models in .
深度神经网络的压缩与加速综述
AliceLeeHX的博客
09-23 7448
引用本文： [如本文对读者朋友们的研究有所帮助，请添加如下参考文献] 纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. Ji Rongrong,Lin Shaohui,Chao Fei,Wu Yongjian,Huang Feiyue. Deep Neural Network Compression ...
卷积神经网络的压缩和加速
SIGAI_CSDN的博客
06-26 1万+
原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 相关背景 为什么要对网络进行压缩和加速呢？最实际的原因在于当前存储条件和硬件的计算速度无法满足复杂网络...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值