神经网络压缩（7）Soft weight-sharing for neural network compression

最新推荐文章于 2023-07-03 19:57:05 发布
最新推荐文章于 2023-07-03 19:57:05 发布
阅读量4.3k 收藏 2
点赞数
分类专栏： 深度学习 模型压缩 文章标签： 神经网络 压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cookie_234/article/details/73918866
版权
本文探讨了软权重共享在神经网络压缩中的应用，该方法同时实现量化和剪枝，通过简单的再训练过程。它与最小描述长度原则和变分贝叶斯推断相关，用于降低网络复杂性和防止过拟合。方法部分介绍了优化目标函数，包括错误成本和复杂度成本，并使用高斯混合分布来聚集权重。实验展示了权重分布和高斯中心的演变，证明了该方法的有效性。
摘要由CSDN通过智能技术生成

Soft weight-sharing for neural network compression

Abstract

  1. soft weight-sharing
  2. achieves both quantization and pruning in one simple (re-)training procedure
  3. the relation between compression and the minimum description length (MDL) principle

Intro

  1. compression直接相关：(variational) Bayesian inference and
    the minimum description principle
  2. Hinton1992，soft weight sharing 这个是作为一种正则化的方法用于降低网络的复杂性，防止过拟合
  3. 他主要的构想也是quant的思想，文章中提到，对比韩松的方法，需要一步一步的进行prune和quant然后在retrain，这篇文章引入soft weight sharing的方法说可以在retain的过程中一起实现prune和quant；

Method

  • 需要优化的目标函数：
最低0.47元/天 解锁文章
cookie_234
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
高效深度学习软硬件设计——神经网络压缩、 Pruning模型剪枝、权值共享、低秩近似
iwill323的博客
08-26 1378
CS231n笔记 基于2017年视频和李宏毅机器学习笔记• 1. Pruning模型剪枝 • 2. Weight Sharing权值共享 • 3. Quantization量化理论 • 4. Low Rank Approximation低秩近似 • 5. Binary / Ternary Net 二元/三元网络 • 6. Winograd Transformation Winogradz转换...
【Soft Weight-Sharing for Neural Network Compression】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-12 1630
论文链接：https://arxiv.org/pdf/1702.04008.pdf 这篇论文提出了一种新的量化和修剪权重参数的思路，用GMM进行量化和裁剪。
卷积神经网络模型压缩技术（Hardware-oriented Approximation of Convolutional Neural Networks）
06-13
High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in accelerator development is hardware-oriented model approximation. In this paper we present Ristretto, a model approximation framework that analyzes a given CNN with respect to numerical resolution used in representing weights and outputs of convolutional and fully connected layers. Ristretto can condense models by using fixed point arithmetic and representation instead of floating point. Moreover, Ristretto fine-tunes the resulting fixed point network. Given a maximum error tolerance of 1%, Ristretto can successfully condense CaffeNet and SqueezeNet to 8-bit. The code for Ristretto is available. Comments: 8 pages, 4 figures, Accepted as a workshop contribution at ICLR 2016. Updated comparison to other works Subjects: Computer Vision and Pattern Recognition (cs.CV)
神经网络压缩
weixin_43219470的博客
05-23 1315
面对参数量巨大的神经网络，如何将这些巨大的模型更好应用于算力较小的设备上成为一个难点，因而研究如何对神经网络进行压缩成为一个重点。 神经网络压缩有五种方法 1.参数/神经元修剪（Network Pruning) 每次只修建网络的一小部分参数或者神经元，之后进行训练，如此反复。 通过去除网络中对网络性能影响不大的参数或者神经元来缩小网络规模，使得缩小后的模型虽然性能稍微有所下降，但仍然在可接受的范围内，本质上是用模型性能换取模型所需算力。 通过对模型参数重要性进行评估，如参数的绝对值的大小，
神经网络压缩（Neural Network Compression）
kangxiatao的博客
02-20 1286
0. 前言 剪枝（Pruning）是为了开发更小、更高效的神经网络。 就我面前的理解来说，主要是去掉权重张量中多余的值从而优化模型。 压缩后的神经网络运行速度更快，减少了训练网络的计算成本。 1. 剪枝算法 Regularization（正则化） 0范数，向量中非零元素的个数。 1范数，为绝对值之和。 2范数，就是通常意义上的模。 L0范数和L1范数对非零参数进行惩罚，使更多非零参数等于零，实现稀疏。L2范数是指向量各元素的平方和然后求平方根，让L2范数的正则项||W||2最小，可以使得W的每个元素都很
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
神经网络压缩方法总结
SmartLab307的博客
04-28 2498
首先，为什么需要对神经网络模型进行压缩呢？我们在之前的课程中介绍过很多大型的深度学习模型，但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面，就需要对大模型进行压缩。Lower latency：低时延 Privacy：私密性介绍5个网络压缩的方法，我们只考虑算法（软件）层面，不考虑硬件层面的解决方法。Network Pruning（网络剪枝）对于一个大的网络来说，我们能想到的是，众多网络参数中一定会有不重要/冗余的一些参数，因此我们将这些参数减掉达到网络压缩的目的。网络剪枝的步骤如下：
模型压缩算法国内外研究现状综述
最新发布
Joejwu的博客
07-03 1841
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8732
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
神经网络部署--网络压缩技术Network Compression
学习笔记
04-07 754
1 network pruning network pruning技术的思路是：训练一个大的神经网络→评价网络中参数和神经元的重要度→根据重要度排序，移除不重要的weight和神经元（置0） 为什么要训练一个大的网络再压缩，而不是直接训练一个小的网络呢？ 因为研究表明，大的网络比较容易训练，效果也更好。 2 knowledge distillation 训练一个大的，效果好的神经网络→训练一个小...
深度学习（六十）网络压缩简单总结
hjimce的专栏
06-02 4676
增加L2权重 增加L2权重可以让更多的权重，靠近0，这样每次修剪的比例大大增加。 四、从结构上，简化网络计算， 这些需自己阅读比较多相关文献，才能设计
Learning both Weights and Connections for Efficient Neural Network -- 论文笔记
meanme的专栏
09-25 6630
这是2015年斯坦福和英伟达的一篇论文。1.简介：通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。2.idea思想：1）首先训练整个网络，判断哪些是重要连接。2）修剪不重要的连接。3）重新训练修剪后的网络，微调保留下来的参数。3.达到的效果：1）在ImageNet上，减少了AlexNet 9倍的参数，从61
PRML5-神经网络（2）
weixin_33856370的博客
07-27 418
本节来自《pattern recognition and machine learning》第5章。 接（PRML5-神经网络（1）） 5.5NN中的正则化         NN的输入层和输出层的单元个数都是按照数据集定义的，只有中间的隐藏层的单元个数是自由参数，通过最大似然求得一个最优值，防止出现欠拟合和过拟合。不过泛化误差不是一个简单的关于的函数，因为在误差函数中有许多的局部最小存在，如下...
【论文阅读】SE Module 和 Attention Module
麒麒哈尔的博客
06-10 3225
目录Attention ModuleSE Module 最近阅读了两篇有关增强CNN能力的文章。CNN经过几年的研究，主流的网络框架不断的迭代，从最初的AlexNet到ResNet和DenseNet，似乎通用网络的框架的研究似乎到了一个瓶颈。这种通用的网络框架在不同的问题起着特征提取的作用，例如分割问题或是目标检测问题，那么如何在不改变大框架的情况下，进一步提升特征提取的有效性呢？研究者们通过使用...
PRML学习总结（5）——Neural Networks
Ghy817920的博客
06-16 712
PRML学习总结（5）——Neural Networks5.1 Feed-forward Network Functions5.1.1 Weight-space symmetries5.2 Network Training5.2.1 Parameter optimization5.2.2 Local quadratic approximation5.2.3 Use of gradient info...
5 神经网络（PRML）
大浪淘沙的专栏
11-03 3276
之前我们讨论的模型是对于分类的回归模型，包含了线性组合的多个基础函数。但是他的应用范围有一定的限制。另外一个方法在于事先限定基础函数的个数并且使得他可自适应的，也就是说使得他的参数值在训练当中是可以发生变化的，其中最成功的模型是前向神经网络(feed-forward network)，也称作多层认知模型(Multilayer perceptron)。 1、前向网络函数 在第三章和第四章
《机器学习》学习笔记（六）-- CNN（卷积神经网络）
DIAJEY的博客
08-15 1889
1.Why CNN? 当我们直接用一般的fully connected的feedforward network来做图像处理时，往往会需要太多的参数。 举个例子，假设是有一张100100的图片，如果将它拉成一个vector，再乘以3色域，input vector就已经有三万维了，又假设hidden layer有1000个neuron，那仅仅是第一层的hidden layer的参数就已经有300001000个了 因此，CNN做的事其实是，简化这个neural network的架构，根据自己的判断和对图像处理的理
edge-labeling graph neural network for few-shot learning
04-12
B'edge-labeling graph neural network for few-shot learning'是一种用于少样本学习的边标签图神经网络。该网络可用于处理其他神经网络难以解决的少样本学习问题，可以提高学习效果和准确率。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值