【模型剪枝】|论文笔记 Optimal Brain Damage

最新推荐文章于 2024-10-14 17:54:13 发布
最新推荐文章于 2024-10-14 17:54:13 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： 模型剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/115416912
版权
本文探讨了一种通过二阶导数来确定神经网络中不重要权重的技术，以实现网络简化和性能优化。通过计算参数的二阶偏导数，确定其对目标函数的贡献度，从而选择并删除低贡献度的权重。这种方法有助于减少网络复杂度，提高泛化能力，同时减少了训练样本的需求和学习时间。文章介绍了使用泰勒级数近似目标函数，并通过海森矩阵进行分析，但面临大矩阵计算的挑战，提出了简化策略。
摘要由CSDN通过智能技术生成

1 摘要

通过从网络中删除不重要的权重，可以有更好的泛化能力、需求更少的训练样本、更少的学习或分类时间。本文的基础思想是使用二阶导数将一个训练好的网络，删除一半甚至一半以上的权重，最终会和原来的网络性能一样好，甚至更好。最好的泛化能力是在训练误差和网络复杂度平衡的时候。

2 介绍

达到这种平衡的一种技术是最小化由两部分组成（原始的训练误差+网络复杂度的度量）的损失函数。

复杂度评估方法包括VC维度，描述长度、还有一个历史悠久的方法是：自由参数中的非零参数数量，这个方法也是本文选用的方法。

在很多统计推理的文章中，存在一些先验或者是启发式的信息规定了哪些参数应该被删除；例如，在一组多项式中，应该先删除高次项。但是在神经网络中，应该删除哪些次项的参数就不是那么明显了。

本文的技术是使用目标函数对参数求二阶导数表示参数的贡献度。而不是直观上用数值大小代替贡献度（即数值小的参数对对最终预测结果贡献度也小）

3 OBD

目标函数在神经网络领域扮演着重要的角色；因此使用“删除一个参数之后，目标函数的变化”来定义一个参数的贡献度是很合理的。但是计算每一个参数删除引发的目标函数的变化是很困难的。

幸运的是，我们可以通过建立一个误差函数的局部模型,来分析预测扰动参数向量引起的影响。我们用泰勒级数来近似目标函数e。
数向量的扰动 δ U \delta U δU 将会通过下面的式子来改变目标函数

在这里插入图片描述
其中， δ u i δ u i δui 是 δ U \delta U δU的分量， g i g_i gi​ 是目标函数E关于U的梯度G 的分量， h i j h_{ij} hij​是海森矩阵H（E）梯度关于U的分量。

在这里插入图片描述
目标是找到一个参数集合，使得删除掉这个参数集合之后E的增加最小。
这个问题几乎是无法解决的。其中一个原因是海森矩阵H 很大（具有2600个参数的神经网络，其海森矩阵有6.5×10^6 项）并且海森矩阵的计算也很复杂。

因此我们必须引入一个简化的近似方法。首先，给定一个对角逼近理论、极值近似理论，在局部极小情况下，二次近似假定目标函数是二次的，可以近似为

在这里插入图片描述

3.1 计算二阶导数 h i i h_{ii} hii​

根据Levenberg-Marquardt近似算法，公式的中的带有f ''的二阶导数项可以省略。

在这里插入图片描述

3.2 算法步骤

1 选择一个合理的网络架构
2 训练网络直至收敛
3 计算每个参数的二阶偏导数值 h k k h_{kk} hkk​
4 计算每个参数的贡献度
5 将参数按照贡献度排序，并删除一些贡献度低的参数
6 迭代至第2步

在上述过程中的删除参数的方法是将其值设为0并固定住，也可以是将贡献度低的参数值进一步降低，或者也可以允许删除了的参数（值为0）重新参与运算，再次更新。

4 结论

在这里插入图片描述

rrr2
关注
专栏目录
YOLOv5改进策略|YOLOv5 的模型压缩方法、模型压缩、剪枝、量化
sybh的博客
06-13 1755
作为一个基本问题，目标检测多年来一直是一个活跃的研究领域。对象检测的主要目标涉及从数据中识别和 定位感兴趣的对象FF某些给定图像中的不同类别。对象检测是许多其他高级计算机视觉任务 [1] 的基础，从语义 分割 [2] 到对象跟踪 [3] 到活动识别 [4]。近年来，卷积神经网络(CNN)等基于深度学习的方法在目标检测任务 中取得了最先进的性能。由于计算能力和尖端算法的进步，物体检测变得更加准确，从而实现了广泛的现实应 用。
深度神经网络剪枝技术：经典论文归类与综述
安静到无声
08-03 815
基于度量标准的剪枝 这类方法通常是提出一个判断神经元是否重要的度量标准，依据这个标准计算出衡量神经元重要性的值，将不重要的神经元剪掉。在神经网络中可以用于度量的值主要分为3大块：Weight / Activation / Gradient。各种神奇的组合就产出了各种metric玩法。 这里的神经元可以为非结构化剪枝中的单个weight亦或结构化剪枝中的整个filter。 Weight /filter Pruning filters for efficient convnets. In ICLR, 20
论文笔记_Optimal Brain Damage
maqian5的博客
06-12 4974
摘要   我们已经利用信息理论的思想推导出了一类实用的、近似最优的神经网络尺寸自适应方案。通过从网络中删除不重要的权重，可以有一些改进：更好的泛化能力、需求更少的训练样本、更少的学习或分类时间。本文的基础思想是使用二阶导数来对网络复杂性和测试误差之间做一个平衡，实验证明该方法在现实世界应用中是有用的。 1.介绍   使用神经网络来解决现实世界中的问题，要么采用高度结构化的网络，要么采用大型的网络。...
Optimal brain damage
epic_Lin的博客
10-14 963
本文的思想是使用二阶导数来对网络复杂性和测试误差之间做一个平衡 1、介绍 本文介绍一个OBD方法通过选择性地删除权重来减小网络的大小。我们将展示OBD方法既是一个自动最小化网络的过程，又是一个达到最佳网络架构的交互工具。 OBD的基本思想是将一个训练好的网络，删除一半甚至一半以上的权重，最终会和原来的网络性能一样好，甚至更好。这个思想可以在需要解决的问题很复杂，并且训练数据有限的情况下使用。这个思想的理论支撑是：当训练数据有限时，有太多权重的神经网络泛化能力反而不好。另一方面，权重数量太少的神经网络又
深度学习-模型剪枝详解
最新发布
Joker_D_K的博客
10-14 1022
深度学习_剪枝讲解和公式函数讲解
ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）
I good vegetable a!
01-03 1390
前言 这篇文章是ICCV 2017的一篇模型压缩论文，题目为《 Learning Efficient Convolutional Networks through Network Slimming》。2019年有相当多的关于YOLOv3的剪枝开源工程，他们大多数的原理都来自于这篇论文，这篇论文的思想值得仔细品读。论文原文地址和Pytorch开源代码地址见附录。 基础原理 这篇文章不同于之前介绍的那...
[Paper Summary] Optimal Brain Damage
芝麻挞
07-26 343
Optimal Brain Damage — LeCun, Denker and Solla, 1989, Advances in Neural Information Processing Systems We introduce OBD for reducing the size of a learning network by selectively deleting weights based on second-derivative information. We show that OBD
深度学习模型压缩：Optimal Brain Damage (OBD) 方法
"Optimal Brain Damage (OBD) 是一种由 Yann LeCun 在1989年提出的神经网络压缩方法，旨在通过删除不重要的权重来减小深度学习模型的规模，从而提高泛化能力、减少训练样本需求、加速学习和分类速度。这种方法基于...
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
chenxiangrong的博客
11-11 4912
Learning Efficient Convolutional Networks through Network Slimming 摘要： CNN在落地中的部署，很大程度上受到其高计算成本的限制。在本文中，作者提出一种新的CNN学习方案： 1）减少模型大小； 2） 减少模型运算内存的占用； 3）在不影响准确性的同时，减少计算操作的次数。 本文提出一种简单高效的方法，具体通过网络通道的稀疏化来实现的。该方法非常适用于CNN的结构，可将训练的开销降到最低，并且生成的模型不需要特定的软硬件进行加速，部署性能更高
论文阅读【模型剪枝（一）】
Rock的博客
07-15 814
最近看了几篇关于剪枝的paper，汇总如下： 1.Channel Pruning for Accelerating Very Deep Neural Networks 论文地址：https://arxiv.org/abs/1707.06168 代码地址： https://github.com/yihui-he/channel-pruning 对于完成网络训练后的模型加速的方法一般有三种：优化实现（...
模型剪枝2015-2020论文合集|已分类已整理
10-25
模型剪枝领域，2015-2020论文合集，根据github上awesome-pruning 下载整理的，包括基本所有的论文和综述，已分类整理重命名（如CVPR2020-论文名）十分全，强烈建议下载阅读~
模型剪枝最经典论文8篇.rar
07-08
2017-2020CVPR、ECCV Oral剪枝方向论文8篇，包括Hrank、AutoCompress、ThiNet、DMCP、MetaPruning等等，非常适合需要了解模型剪枝，模型压缩的新手
【论文】模型剪枝（Network Pruning）论文详细翻译
热门推荐
u013044310的博客
05-03 1万+
前言： 这是关于模型剪枝（Network Pruning）的一篇论文，论文题目是：Learning both weights and connections for efficient neural networks，作者在论文中提出了一种通过网络剪枝对模型进行压缩的思路，详细地描述了模型剪枝的思路，流程和方法。 论文地址：Learning both weights and connecti...
论文翻译 || 模型剪枝(2)——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
magic_ll的博客
04-14 950
https://arxiv.org/abs/1707.06342 Abstract 我们提出了一个高效统一的框架，即ThiNet，在训练和推理阶段同时加速和压缩CNN模型。我们关注的是过滤器级别的剪枝，也就是说，如果整个过滤器不那么重要，那么它将被丢弃。我们的方法不改变原有的网络结构，因此它可以被任何现成的深度学习库完美地支持。我们将滤波器剪枝作为一个优化问题建立起来，并揭示我们需要根据从下一层计算的统计信息来修剪过滤器，而不是当前的层，这ThiNet与现有的方法不同。实验结果表明了该策略的有效性，提高了
论文翻译 || 模型剪枝(1)—— PRUNING FILTERS FOR EFFICIENT CONVNETS
magic_ll的博客
04-01 1357
ABSTRACT 在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原有精度的情况下修剪和压缩各层的权重。然而，基于大小的权值剪枝从完全连通的层中减少了大量的参数，由于剪枝后的网络具有不规则的稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种cnn的加速方法，我们从被识别为对输出精度影响很小的cnn中删除滤波器。通过去除网络中所有的过滤器及其连接的特征映射，大大降低了计算成本。 与修剪权值相反，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，
模型剪枝四：Pruning Convolutional Neural Networks For Resource Efficient Inference
cdknight_happy的专栏
05-13 5303
论文地址：https://arxiv.org/abs/1611.06440v2 英伟达出品的模型剪枝论文，NVIDIA Transfer Learning Toolkit就是基于这篇论文进行实现的？ 0 摘要 我们提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。我们将基于贪婪标准的修剪与通过反向传播的微调交错 - 实现了一种高效的的过程，在修剪后的网络中保持了良好的泛化能力。我们提出...
模型剪枝综述
weixin_49285773的博客
07-04 1323
最近有用到模型剪枝，也就系统的学习了一下，正好有个课程报告不限内容，就对之前学习的内容做了简单的综述总结，图表有点多，懒得一点点弄了，就放个截图。 题目：Model Pruning for Efficient Training ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值