李宏毅机器学习笔记第18周_神经网络压缩（Network Compression）

最新推荐文章于 2024-03-08 23:00:00 发布
最新推荐文章于 2024-03-08 23:00:00 发布
阅读量286 收藏
点赞数
文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peaunt1/article/details/126288628
版权

文章目录

一、Network Pruning

1.Network can be pruned

1） 神经网络的参数是非常多的，但并非所有的参数都是非常重要的，因此我们可以把这些多余的、不那么重要参数给删除掉，这样可以减小模型大小，加快运算速度。
在这里插入图片描述
2） 现在的问题是我们如何去评估参数是否重要？有两个方向，第一个是评估权重的重要性，可以计算它的绝对值去判断，第二个是评估神经元的重要性，我们可以去记录在数据集中神经元出现的次数去判断。在进行Network Pruning操作后，我们可以进行微调，并且也可以反复进行上述过程，就会得到比较小的Network。
在这里插入图片描述

2.Weight pruning

在实际操作中，我们进行Weight pruning后，会把我们的Network变得不规则，这样的Network是难以进行implement和GPU加速，于是我们会把删掉的weight补0，但是这样没有真正地减小Network。
在这里插入图片描述

3.Neuron pruning

在实际操作中，我们进行Neuron pruning后，我们的Network还会保持一定的规则，它会比较容易implement和进行GPU加速。
在这里插入图片描述

4.Why Pruning?

1） 现在有一个问题是我们先要训练一个大的Network，然后再去把它变小，为什么不直接训练一个小的Network呢？因为一个大的Network比较容易训练。
2） 为什么大的Network比较容易训练呢？有一个假说是Lottery Ticket Hypothesis，我们在训练一个大的Network的同时，相当于训练许多小的Network，只要其中一个小的Network训练成功，就相当于大的Network训练成功。

二、Knowledge Distillation

1． 如下图所示，Knowledge Distillation需要两个Network，一个是大的模型Teacher Net，另一个是小的模型Student Net。过程是先让Teacher Net学习，学习结束后让Student Net把Teacher Net当作一个标准，让Student Net的输出与Teacher Net的输出越接近越好。
在这里插入图片描述
2． 在Knowledge Distillation的计算过程中，会对softmax进行改写，这样的好处是把比较集中的分布变得更加平滑。
在这里插入图片描述

三、Parameter Quantization

1． Parameter Quantization的方法：用更少的bit去储存数据；用Weight clustering的方法可以节省空间，但这样的结果是会导致误差变大；Huffman encoding，具体做法是对于常出现的clusters用少量的bit表示，不常出现的clusters用较多一点的bit表示。
在这里插入图片描述
2． Binary Weight的做法是可以只用一个bit去储存数据。
在这里插入图片描述

四、Architecture Design

1.Depthwise Separable Convolution

1） Depthwise Convolution
如下图所示，一个filter对应一个channel，然后做卷积得到feature map。
在这里插入图片描述
2） Pointwise Convolution
在Depthwise Convolution中，channel与channel之间是没有联系的，于是就要加上Pointwise Convolution，这里filter的大小限制是必须是1 * 1。
在这里插入图片描述

2.Low rank approximation

如下图所示，在中间添加一层大小为k的linear，可以减少训练需要的参数。
在这里插入图片描述

五、Dynamic Computation

Network可以自由地调整需要的运算资源。
在这里插入图片描述

1.Dynamic Depth

Network可以自由地调整自己的深度。
在这里插入图片描述

2.Dynamic Width

Network可以自由地调整自己的宽度。
在这里插入图片描述

3.Computation based on Sample Difficulty

如下图所示，遇到一个简单的问题，一层Layer就会结束；遇到一个复杂的问题，需要很多层Layer才会结束；因此需要机器视情况自由地调整。
在这里插入图片描述

MoxiMoses
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
[2022]李宏毅深度学习与机器学习第十三讲（必修）-神经网络压缩
weixin_45920982的博客
12-03 242
1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。 2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。 3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。虽然大的模型效果不错，但是小的模型同意有应用市场。需要把模型跑在资源有限的情况下比如手表，这种情况就不适合用大的模型。如果传到云端，但是可能会有延时（自动驾驶），同时可能涉及隐私安全。所以我们需要小的模型，但是
神经网络压缩方法总结
SmartLab307的博客
04-28 2358
首先，为什么需要对神经网络模型进行压缩呢？我们在之前的课程中介绍过很多大型的深度学习模型，但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面，就需要对大模型进行压缩。Lower latency：低时延 Privacy：私密性介绍5个网络压缩的方法，我们只考虑算法（软件）层面，不考虑硬件层面的解决方法。Network Pruning（网络剪枝）对于一个大的网络来说，我们能想到的是，众多网络参数中一定会有不重要/冗余的一些参数，因此我们将这些参数减掉达到网络压缩的目的。网络剪枝的步骤如下：
机器学习——神经网络压缩
最新发布
uncle_ll的博客
03-08 1196
神经网络压缩，以在保证性能的前提下压缩模型大小
神经网络压缩
weixin_43219470的博客
05-23 1236
面对参数量巨大的神经网络，如何将这些巨大的模型更好应用于算力较小的设备上成为一个难点，因而研究如何对神经网络进行压缩成为一个重点。 神经网络压缩有五种方法 1.参数/神经元修剪（Network Pruning) 每次只修建网络的一小部分参数或者神经元，之后进行训练，如此反复。 通过去除网络中对网络性能影响不大的参数或者神经元来缩小网络规模，使得缩小后的模型虽然性能稍微有所下降，但仍然在可接受的范围内，本质上是用模型性能换取模型所需算力。 通过对模型参数重要性进行评估，如参数的绝对值的大小，
神经网络模型压缩方法
zhaohaobingniu的博客
10-14 3913
神经网络模型压缩方法（ flask API、onnx、ncnn在嵌入式、流媒体端口应用）
深度神经网络压缩和加速详解
weixin_45564943的博客
12-17 3380
目录 1.背景介绍 2.压缩方法概述 3.压缩方法详述 3.1参数剪枝 3.2参数量化 3.3低秩分解（张量分解） 3.4参数共享 3.5紧凑网络 3.6知识蒸馏 3.7混合模型 3.8不同压缩模型比较 1.背景介绍 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型.被压缩后的模型计算资源需求和内存需求更小,相比 原始模型能够满足更加广泛的应用需求. 接下来系统...
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
Python实现李宏毅2020机器学习作业3，含数据集和代码
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
HW_1_李宏毅机器学习作业_thatnn8_李宏毅_
10-01
Python实现李宏毅2020机器学习作业，含数据集和代码
【李宏毅机器学习笔记】8、Tips for Training DNN
01-06
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
卷积神经网络模型压缩技术（Hardware-oriented Approximation of Convolutional Neural Networks）
06-13
High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in accelerator development is hardware-oriented model approximation. In this paper we present Ristretto, a model approximation framework that analyzes a given CNN with respect to numerical resolution used in representing weights and outputs of convolutional and fully connected layers. Ristretto can condense models by using fixed point arithmetic and representation instead of floating point. Moreover, Ristretto fine-tunes the resulting fixed point network. Given a maximum error tolerance of 1%, Ristretto can successfully condense CaffeNet and SqueezeNet to 8-bit. The code for Ristretto is available. Comments: 8 pages, 4 figures, Accepted as a workshop contribution at ICLR 2016. Updated comparison to other works Subjects: Computer Vision and Pattern Recognition (cs.CV)
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
学习笔记——神经网络压缩
Clichong
07-15 700
以下内容来源与李宏毅老师的课程。 文章目录一、Network Pruning——网络剪枝二、Knowledge Distillation——知识蒸馏三、Parameter Quantization——参数量化四、Architecture Design——架构设计1. Full connect2. Depthwise Separable Convolution五、Dynamic Computation——动态计算 当我们需要将模型部署在一些移动设备上时，但是现在的移动设备的资源是有限的，而存储的空间也是有限的
Pytorch实战_神经网络的压缩（Network Compression）
hello_JeremyWang的博客
01-16 1784
1. 神经网络的压缩 对于一些大型的神经网络，它的网络结构是十分复杂的（听说华为的一些神经网络有上亿的神经元组成），我们很难在很小的设备中（比如我们的apple watch）上面将这个这个神经网络放上去。这就要求我们能有能力将神经网络进行压缩，也就是 Networ Compression。 李宏毅老师在课程中提到了5中神经网络的压缩方式： Network Pruning Knowledge Distillation Parameter Quantization Architec Design Dynam
2021 神经网络压缩 （李宏毅
linyuxi_loretta的博客
11-05 1448
首先，为什么需要对神经网络模型进行压缩呢？我们在之前的课程中介绍过很多大型的深度学习模型，但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面，就需要对大模型进行压缩。Lower latency：低时延 Privacy：私密性介绍5个网络压缩的方法，我们只考虑算法（软件）层面，不考虑硬件层面的解决方法。
CNN模型压缩——使用网络稀疏化方法（Learning Effcient Convolutional Network through Network Sliming）
东风的博客
01-20 3063
文章目录IntroductionRelated Work网络稀疏化（Network Slimming）why choose chennel-level sparsifyhow to implement在模型中加入BN（Batch Normalization）层 本文中的方法来自于论文《Learning Effcient Convolutional Network through Network Sliming》 论文：Learning Effcient Convolutional Network throu
李宏毅机器学习笔记logic regression
09-22
Logic Regression是一种用于分类问题的机器学习算法。它使用一条直线作为边界来区分两个类别。然而，如果数据不能被一条直线分割，Logic Regression就无法处理。为了解决这个问题，我们可以对基向量进行变形，从而改变数据的坐标。但是，找到这样的变换是困难的，因此我们可以使用多个Logic Regression串联起来，每个Logic Regression被称为一个神经元。这就是神经网络。 在逻辑回归模型中，我们使用Sigmoid函数来将线性回归的输出值限制在0到1之间，以表示概率。此外，为了描述预测模型和真实模型之间的接近程度，逻辑回归通常使用交叉熵作为损失函数，而不是均方误差。交叉熵能够更好地处理分类问题，并且给出更好的模型性能评估。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值