模型压缩——将模型复杂度加入loss function

最新推荐文章于 2024-09-30 17:10:06 发布
最新推荐文章于 2024-09-30 17:10:06 发布
阅读量3.5k 收藏 2
点赞数 2
分类专栏： 神经网络压缩与加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/53170875
版权
本文探讨了一篇2017年的ICLR论文，该论文提出将全连接层的“密度”和“多样性”纳入损失函数，以促进网络的剪枝和量化压缩。通过这种方式，作者旨在训练出稀疏且低多样性的网络，进一步进行有效压缩。这种方法避免了直接训练小型模型带来的困难，并提供了一种分步迭代的训练策略。
摘要由CSDN通过智能技术生成

这里介绍2017ICLR OpenReview中的一篇有关网络压缩的文章《Training Compressed Fully-Connected Networks with a Density-Diversity Penalty》。

看文章标题就知道主要是针对全连接层的，由此我的好感就下降了一半。

———————— 引言 ————————

作者拿VGG说全连接层会占很多资源，压缩这个最重要。好像哪里不对T_T（能压卷积层的才是厉害）。

文章提出了两个名词，我觉得很有意思： “Density” 和 “Diversity”。 这两个名词基本引出了现有的绝大部分深度模型的压缩方法。

“Density” 引出的方法比较有代表性的就是剪枝、矩阵分解等，即降低网络的稀疏度(冗余度)，这样模型就被压缩了。

“Diversity”引出的方法比较有代表性的就是量化方法，用少量码字表示一个大的权重矩阵，即降低网络参数的多样性，这样就可以只存储这些不一样的码字，从而压缩模型。

于是，文章将全连接层的密度和多样性也加入loss中进行惩罚，意图使得网络变得更稀疏多样性更差。

而这也是我对这篇文章比较喜欢的一点解释： 作者将全连接层的密度和多样性加入loss中进行惩罚并不是为了直接得到一个小的模型，而是为了在此基础上更好使用剪枝和量化的方法(

最低0.47元/天 解锁文章
shuzfan
关注
专栏目录
推荐系统——多任务学习与混合模型推荐系统
AI天才研究院
08-11 223
推荐系统（Recommendation System）是一种基于用户对产品、服务或信息等资源的喜好程度进行推荐的应用系统。通过分析用户历史行为数据及其他相关数据，推荐系统可以向用户提供最可能感兴趣的内容、服务或者产品。推荐系统的发展历史经历了多个阶段，其主要分为两大类：基于协同过滤和基于内容推荐。
AI Maas人工智能大模型即服务时代：大模型即服务的未来发展系列
AI天才研究院
11-04 619
随着人工智能技术的不断发展，尤其是自然语言处理(NLP)、计算机视觉(CV)等领域的突破性进展，人工智能大模型即服务(AI Maas)正在成为行业的热点和未来发展趋势。AI Maas是指通过云计算、大数据等技术手段，将预训练好的海量人工智能大模型以服务化的方式提供给企业和个人用户使用，用户无需关注底层技术实现，只需要通过API接口就可以方便快捷地使用人工智能的能力，极大降低了人工智能应用开发的门槛和成本。
模型压缩
datayx的文章
08-16 632
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx一、背景 深度学习让计算机视觉任务的性能到达了一个前所未有的高度。但，复杂模型...
浅谈模型压缩
fly_Xiaoma的博客
03-13 8508
有一个做深度学习模型部署的同学曾经提到过他目前的方向主要是模型压缩，就是对于部署在app上的模型在不影响性能的前提下如何减小模型的体量，我也会经常用Bert等transformer架构的模型，体量过大也是缺点，所以才有了后面的ALBert模型，这里对模型压缩的内容提前了解下，以免后面的工作会用到。 目录 1. 模型压缩的意义 2. 模型压缩相关技术 2.1 低秩分解 2.2 剪枝 2....
模型压缩之剪枝
最新发布
qq_31638535的博客
09-30 837
非结构化剪枝通过剪除个别权重实现模型压缩，但硬件加速效果有限。结构化剪枝在更高层次（如通道、卷积核或神经元）上进行剪枝，能带来实际推理加速效果，适合部署在硬件上。剪枝后的模型通常需要通过再训练或微调恢复性能。剪枝是压缩模型的重要手段之一，它可以大幅减少模型的计算量和参数量，使得复杂的深度学习模型能够在资源有限的设备上高效运行。
模型训练的模型压缩：实现轻量级模型的方法
AI天才研究院
01-04 608
1.背景介绍 模型压缩是一种在深度学习模型中减少参数数量和计算复杂度的技术，以实现模型的轻量级和高效。随着深度学习模型在各个领域的广泛应用，模型压缩技术变得越来越重要。在这篇文章中，我们将讨论模型压缩的核心概念、算法原理、具体实现以及未来发展趋势。 1.1 背景 随着数据规模的增加，深度学习模型的复杂性也随之增加。这导致了训练和部署模型的计算成本和时间开销的增加。此外，大型模型的存储需求也变...
目标检测 YOLOv5 - 模型压缩
flyfish
10-21 4878
什么是剪枝 在一棵树中，把不重要的枝条剪掉，就是剪枝 园丁的手艺是不同的，不同的园丁剪的效果不同。 做模型的剪枝与园丁干得工作是一模一样，先看一个回归实例 拟合数据的结果有正合适，欠拟合，过拟合 直线就是欠拟合，一个每个数据点都经过的曲线就是过拟合了 再看他们的数学表达式，多项式的最高次数是不同的，剪枝就像去掉上图中3次方项和4次方项 剪枝方法多，因为把不重要的东西去掉，在定义什么东西不重要，各家有各家的方法 如果把项剪的太多了，曲线就变成值线了，这不是我们想要的。 当过拟合的时候，剪太多就把树枝剪
keras模型压缩
AstoncPou的博客
08-17 498
模型压缩
深度学习之模型压缩（剪枝、量化）
我的博客
01-06 8593
随着深度学习的发展，模型变得越来越复杂，随之而来的模型参数也越来越多，对于需要训练的模型硬件要求也越来越高。模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。现在主流的模型压缩方法包含两大类：剪枝和量化。模型的剪枝是为了减少参数量和运算量，而量化是为了压缩数据的占用量。
AI大型语言模型企业级应用开发架构实战：模型优化原理和技术方案详解
AI天才研究院
11-10 131
近年来，随着深度学习技术的快速发展，语音、图像等高维数据的处理已成为许多领域的重点任务。而这些数据量巨大的需求促使研究人员开发出了大型的神经网络模型——这类模型通常被称为“大型语言模型”，它能够捕捉输入文本或图像中存在的所有潜在信息。然而，作为一款成熟的软件系统，如何应用到实际业务场景中并持续运行至今仍是一个难题。为了解决这个难题，业界早已开始探索将大型语言模型集成到企业级应用中的各种方法。
模型压缩与模型优化：实践应用案例
AI天才研究院
12-27 352
1.背景介绍 在过去的几年里，人工智能技术的发展取得了巨大的进展，尤其是深度学习技术在图像识别、自然语言处理等领域的成功应用。然而，随着模型的复杂性和规模的增加，模型的训练和部署成本也随之增加，这为实际应用带来了很大的挑战。因此，模型压缩和模型优化技术变得越来越重要。本文将从实践应用的角度，深入探讨模型压缩和模型优化的核心概念、算法原理、实例代码和未来趋势。 2.核心概念与联系 2.1 模型...
LDA主题模型.zip
01-05
LDA(Latent Dirichlet Allocation)中文翻译为：潜在狄利克雷分布。LDA主题模型是一种文档生成模型，是一种非监督机器学习技术。它认为一篇文档是有多个主题的，而每个主题又对应着不同的词。一篇文档的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文档的第一个词。不断重复这个过程，就生成了整篇文章。
【模型压缩】模型压缩的几种方式概述
All_In_gzx_cc的博客
01-26 2200
如同前面提到的，我们希望将一个强大复杂的AI模型减量、压缩后，得到一个迷你、简单的模型，但仍要能维持原有的推论精度或者只有些微（0%到指定%）的下降，就像我们平常看到的JPG影像、MP4影片，虽然采大幅度破坏性压缩，但人眼是很难分辨其品质差异的。这样可以得到几项好处，包括。（FP8， e5m2， e4m3， 1 Byte）在推论时其精度下降幅度可控制在一定程度内，同时可让储存空间和内存使用量减少1/2到3/4，若加上有支持SIMD或平行运算指令集[1]还可让运算量提升1.x ~ 3.x倍，一举多得。
深度学习模型压缩方法概述
lovely_yoshino的博客
05-04 1003
我们知道，一定程度上，网络越深，参数越多，模型也会越复杂，但其最终效果也越好，而模型压缩算法是旨在将一个庞大而复杂的大模型转化为一个精简的小模型。之所以必须做模型压缩，是因为嵌入式设备的算力和内存有限，经过压缩后的模型方才能部署到嵌入式设备上。模型压缩问题的定义可以从3角度出发:计算: 减少浮点运算量（FLOPs），降低延迟（Latency存储: 减少内存占用，提高GPU/NPU计算利用率公式定义模型压缩问题:minPolicyiModelSizePol。
模型的损失（Loss）
m0_51200050的博客
06-16 667
模型的损失（Loss）
模型压缩零-概述（ModelCompression）
大漠帝国的博客
10-11 665
模型压缩 背景 概述 方法 背景 ​ 二十一世纪的10年代，世界经济迅猛发展，新兴技术层出不穷，尤其是移动互联网技术，极大地改变了人类的生产生活方式。但是，十年一个轮回，2020年的今天，世界经济遭受重创，近乎停滞，各种冲突与危机让人眼花缭乱、目瞪口呆。 ​ 而几乎与移动互联网共同发展起来的是人工智能技术，最最最突出的是深度学习（DL）技术，也逐渐步入低潮。低潮期便会反思，寻找原因原理，探寻忽略的东西，微创新与优化等。深度学习技术迅猛发展、玩命狂飙的时候，算法模型推理消耗的资
机器学习模型中的损失函数loss function
热门推荐
null的专栏
03-31 5万+
import matplotlib.pyplot as plt import numpy as np xmin, xmax = -4, 4 xx = np.linspace(xmin, xmax, 100) plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss") plt.plot(xx, np.where(x
数据规模与数据模型复杂度问题
qq_42301684的博客
07-19 959
文章讲的是数据规模与数据模型复杂度问题，着重从统计学角度上分析这两者之间的关系。
模型压缩：Deep Compression/Acceleration（汇总）
微风❤水墨
03-05 909
原文链接：https://blog.csdn.net/hw5226349/article/details/84888416 本文系转载，感谢原文博主的分享! 结构`structure` [BMVC2018] IGCV3: Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks [CVPR201...
深度学习文本模型压缩技术探析
2. 量化（Quantization）：此技术将模型的浮点权重转换为更小的数据类型，例如整数或二进制，以减小模型存储需求和计算成本。量化可以实现模型的高效硬件执行，尤其是在嵌入式设备上。 3. 知识蒸馏（Knowledge ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值