模型如何压缩？使用轻量化的模型压缩技术剪枝（pruning）

最新推荐文章于 2024-10-10 23:18:01 发布
最新推荐文章于 2024-10-10 23:18:01 发布
阅读量1k 收藏 4
点赞数 3
分类专栏： 目标检测 文章标签： 剪枝 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45277161/article/details/130496754
版权
针对移动端和边缘设备性能限制，文章探讨了深度学习模型压缩的策略，包括剪枝和量化技术。剪枝通过移除冗余权重和神经元减小模型尺寸，而量化则通过将浮点数转化为整数降低存储和计算需求。此外，文章提到了BN层在防止梯度消失中的作用以及网络瘦身方法。
摘要由CSDN通过智能技术生成

深度学习模型参数太多，本地服务器部署没有问题，但是如果部署到移动端、边缘端，像手机、树莓派等，它们的性能不能满足，所以我们要压缩模型大小，让他们可以部署到边缘端

模型压缩：使用轻量化的模型压缩技术，如剪枝（pruning）和量化（quantization），来减小深度学习模型大小

  • 通过剪枝可以去除冗余的权重参数和不必要的神经元，从而减小模型的尺寸。
  • 量化可以将浮点数权重参数转换为更小的整数，从而减少存储和计算开销。

可以类比人脑

在这里插入图片描述

深度学习模型有点玄学，最好还是在一开始设计好模型，比后期做剪枝操作要强

在这里插入图片描述

剪枝的一些操作：

  • 聚类，效果不好
    在这里插入图片描述

  • 大网络训练作为小网络的先验知识（不常用）
    在这里插入图片描述

  • SVD，中间加上一个层（两个全连接层之间，减少参数）
    在这里插入图片描述

剪枝是什么？

在这里插入图片描述

在这里插入图片描述

如何减少模型中无用的特征图

在这里插入图片描述

在这里插入图片描述

常规套路：Conv + BN + Relu激活函数

  • BN的作用是为了防止卷积之后的梯度消失或者梯度爆炸

在这里插入图片描述

在这里插入图片描述

剪枝常用的正则化函数

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
Learning Efficient Convolutional Networks through Network Slimming

githubcurry
关注
专栏目录
️目标跟踪中的模型压缩：让算法更轻量化
AI天才研究院
06-06 715
目标跟踪中的模型压缩：让算法更轻量化 摘要： 本文介绍了目标跟踪中的模型压缩技术，通过减少模型的参数数量和计算量，提高算法的效率和实时性。文章详细介绍了模型压缩的核心概念、联系，以及核心算法原理的具体操作步骤，并通过数学模型和公式进行了详细讲解。同时，文章还提供了项目实践中的代码实例和详细解释说明，以及实际应用场景的分析。最后，文章对未来发展
多模态大模型：技术原理与实战 模型压缩技术介绍
AI天才研究院
07-04 753
随着人工智能技术的快速发展，多模态大模型因其强大的综合处理能力，被广泛应用在诸如自然语言处理、计算机视觉、语音识别等多个领域。然而，这些模型通常拥有庞大的参数量，动辄数千万乃至数十亿参数，这对于计算资源的需求和部署成本都带来了巨大挑战。因此，如何在保持模型性能的同时，减轻计算负担，降低存储成本，成为了亟待解决的问题。参数共享：通过共享参数来减少重复计算，提高效率。注意力机制：聚焦于重要信息，减少不必要的计算。知识蒸馏：小模型学习大模型的知识，减少参数量同时保持性能。量化。
模型压缩剪枝蒸馏量化
Mr_Troy的博客
02-21 3145
开源项目与资源 PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSP loss，L2 loss，softmax with cross-entropy loss等。 PaddleSlim Github PaddleSlim Docs Distiller是Intel基于Pytorch开源的模型优化工具，支持Hinton等人提出的Knowledge distillation算
三维模型OBJ格式轻量化压缩并行计算处理方法浅析
m0_70326213的博客
08-29 241
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，处理速度快，超大模型支持；优秀数据处理和转换工具，支持将OSGB格式三维模型转换为3DTiles等格式，可快速进行转换。
深度学习模型压缩-卷积裁剪
AI爱好者的博客，分享计算机领域相关知识
03-08 1850
深度学习模型压缩，卷积裁剪原理及实现方法，包括L1Norm裁剪，L2Norm裁剪，FPGM裁剪。
深度学习-模型压缩-量化-剪枝-加速
baidu_40840693的博客
03-21 997
组内讨论： https://blog.csdn.net/hw5226349/article/details/84779325 https://blog.csdn.net/hw5226349/article/details/84888416 https://github.com/mrgloom/Network-Speed-and-Compression https://blog....
闲话模型压缩之网络剪枝（Network Pruning）｜综述
小白学视觉
02-06 746
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来自 | CSDN地址 | https://blog.csdn.net/jinzhuojun/article/details/100621397编辑 | 深度学习这件小事公众号本文仅作学术分享，如有侵权，请联系后台删除一、背景今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（...
【深度学习模型压缩手册】：轻量化模型的必备技术
[【深度学习模型压缩手册】：轻量化模型的必备技术](https://scai.sorbonne-universite.fr/files_app/j/227/82a9735ebaff353c0585c87a605166c3.jpg) # 1. 深度学习模型压缩概述 ## 深度学习模型压缩的必要性 在深度...
轻量化的模型压缩技术
07-28
以下是一些常见的轻量化模型压缩技术： 1. 参数量削减：通过减少模型的参数数量来降低模型的大小。例如使用剪枝（pruning）算法去除冗余参数，或者使用低秩分解（low-rank decomposition）等方法减少参数矩阵的维度...
模型轻量化-剪枝蒸馏轻量化
09-06
模型轻量化是指通过减少模型的大小和计算量，以达到模型压缩和加速的效果的技术。其中，剪枝和蒸馏是常用的模型轻量化方法之一。 剪枝（Pruning）是一种深度学习模型压缩技术，通过去除神经网络中不必要的参数和...
深度学习之模型轻量化
ajin156的博客
05-30 3210
模型的权值参数往往以32位浮点数的形式保存，神经网络的参数，会占据极大的存储空间，因此，如果在存储模型参数时将 32 位浮点数量化为8位的定点数，可以把参数大小缩小为原来的1/4，整个模型的大小也可以缩小为原来的1/4，不仅如此，随着参数量化后模型的减小，网络前向运算阶段所需要的计算资源也会大大减少。，该值越小，说明对应的神经元对网络输出结果影响越小，属于不重要的神经元，应该被移除，对应的连接也应被剪除。，网络性能和准确度依然会受到较大的影响，为了消除这些影响，一个很重要的步骤是对。
详解4种模型压缩技术、模型蒸馏算法
woaimx_1314的博客
06-19 4022
理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。首先是速度，比如像人脸闸机、人脸解锁手机等应用，对响应速度比较敏感，需要做到实时响应。其次是存储，比如电网周边环境监测这个应用场景中，要图像目标检测模型部署在可用内存只有200M的监控设备上，且当监控程序运行后，剩余内存会小于30M。最后是耗能，离线翻译这种移动设备内置AI模型的能耗直接决定了它的续航能力。
weight pruning（权重剪枝）--学习笔记
oneself的博客
12-16 2779
weight pruning（权重剪枝）--学习笔记
自己使用过得模型压缩方法
猫猫与橙子的博客
03-10 971
最近有朋友问我做过的L1剪枝方法怎么样，有没有资源； 因为这个是公司的事情，我也不能直接给资源，但是我还是将我使用过得压缩方法总结一下。 （还是由于自己忘性大，留给自己回忆）： 1）L1剪枝方法： 查看如下资源，https://github.com/NervanaSystems/distiller 2）蒸馏： 查看论文： 《Mimicking Very Efficient Netwo...
pytorch-模型压缩与剪枝
热门推荐
识物专栏
02-18 13万+
PyTorch框架提供了一个方便好用的trick：开启半精度。直接可以加快运行速度、减少GPU占用，并且只有不明显的accuracy损失。 之前做硬件加速的时候，尝试过多种精度的权重和偏置。在FPGA里用8位精度和16位精度去处理MNIST手写数字识别，完全可以达到差不多的准确率，并且可以节省一半的资源消耗。这一思想用到GPU里也是完全可以行通的。即将pytorch默认的32位浮点型都改成16位浮点型。 只需： model.half() 注意1：这一步要放在模型载入GPU之前，即放到model..
专题十_穷举vs暴搜vs深搜vs回溯vs剪枝_二叉树的深度优先搜索_算法专题详细总结
2301_80636070的博客
10-05 1098
只要能分析出当前问题的相同子函数，就可以得出函数体里面的内容，通过所有相同的子函数的内容进行一步步操作就能完成当前函数的任务。2.求根节点到叶节点数字之和（medium）题意还是比较好理解的，就是对从根节点开始一直到叶子节点，计算每个节点当前值不断*10最后所有叶子节点的和像这种带有回溯类的问题，只需要考虑清楚带上的临时变量不会再中途被改变，并且再返回上一层稳定即可。
【机器学习-无监督学习】降维与主成分分析
Morse_Chen的博客
10-01 2466
本文介绍了数据降维的常用算法之一：PCA算法。数据降维是无监督学习的重要问题，在机器学习中有广泛的应用。利用特征分解进行PCA，动手实现了PCA算法，并使用sklearn实现PCA算法。
TY1801 内置GaN电源芯片（18w-65w)
最新发布
QQ_2169636881的博客
10-10 619
TY1801 是一款内置氮化镓18W-65W开关电源芯片，用于离线交流/直流转换应用，包括手机充电器和适配器等。TY1801A 18W；TY1801B 20W；TY1801C 25W；TY1801D 30W；TY1801DH 30W；TY1801E 35W；TY1801F 40W；TY1801G 45W；TY1801H 65W；
机器学习框架（含实例说明）
liyy614的博客
09-30 1677
选择合适的机器学习框架取决于具体的应用场景、开发需求和团队的技术栈。TensorFlow和PyTorch是目前最流行的深度学习框架，适用于大多数深度学习任务。Scikit-learn则适合传统机器学习和数据分析任务。其他框架如MXNet、Caffe、Theano和PaddlePaddle也各有特色，适用于特定的应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

githubcurry

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值