模型压缩中的低秩分解

最新推荐文章于 2024-05-05 20:31:54 发布
最新推荐文章于 2024-05-05 20:31:54 发布
阅读量7.4k 收藏 4
点赞数 1
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23225317/article/details/82692993
版权

因为传统训练好的卷积核存在着低秩特性，因此常用的压缩方法里就会采用低秩分解(SVD)的方法进行压缩，但时这种压缩存在一些不足：

  • 若卷积核不低秩，那压不了呗

  • 即使是低秩的，压缩之后精度受损，需要re-training

Low Rank Filters

[SqueezeNext]

目的：去除冗余，并且减少权值参数

方法：采用两个K*1的卷积核替换掉一个K*K的卷积核(decompose the K convolutions into two separable convolutions of size 1 × K and K × 1)

水果先生
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
模型压缩（1）——低秩分解
计算机视觉的学习日常
03-09 3030
低秩分解，高效压缩模型的简单实现
矩阵低秩张量分解_张量分解（三）:模型压缩
weixin_42164702的博客
12-30 1402
目前已经全面转向自然语言处理了，但是大实验室还是做张量的，之前还关注一部分张量模型压缩的文章和实验，奈何我对张量理论了解的不深刻，所以这里只是一个综述和个人见解。2020.2.24 我回来更新啦。开始我们的正题。随着深度学习模型的日渐增大，对部署的压力也越来越大，模型压缩就是很好的解决方案。常见的模型压缩方法有蒸馏，TS，量化，剪枝，低秩分解等等。这里的张量压缩方法就是低秩分解的一种。本文使用TT...
低秩分解
baidu_33008169的博客
03-19 1997
目录 　　概念 　　1. 奇异值（SVD）分解 　　2. 张量分解 　　　　2.1CP 分解( Canonical Polyadic Decomposition (CPD) 　　　　2.2 TD 分解( Tucker Decomposition ) 　　　　2.3 BTD 分解（block term decomposition） 概念 　　本章节涉及到线性代数的知识，磨刀不误砍柴...
大模型学习路线（5）—— 大模型压缩（量化、剪枝、蒸馏、低秩分解），推理（vllm）
最新发布
qq_51175703的博客
05-05 3097
一、模型压缩目标：（1）减少模型显存占用；（2）加快推理速度；（3）减少精度损失。 二、模型压缩算法分类（如何降低权重和激活成本）：（1）模型量化（quantization（2）参数剪枝（pruning）（3）知识蒸馏（knowledge distillation）
深度学习模型压缩与加速技术（三）：低秩分解
十二月未央未眠
04-25 7735
目录总结低秩分解定义特点1.二元分解2.多元分解参考文献 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型压缩和加速引起了学术界和工业界的广泛兴趣，各
VALSE 2017 | 神经网络模型压缩优化方法
热门推荐
计算机视觉life
06-11 1万+
​近年来，深度神经网络在计算机视觉、语音识别等领域取得了巨大成功。为了完成更加复杂的信息处理任务，深度神经网络变得越来越深，也使得其计算量越来越大。然而，手机、车载等移动端应用对深度神经网络的需求越来越多，因而深度神经网络模型的压缩、加速、优化变的越来越重要。这也是本届VALSE的热点之一。 深度学习算法是计算密集型和存储密集型的，这使得它难以被部署到资源有限的嵌入式系统上。
面向大模型的低秩分解与模型压缩技术研究
DUT_LYH
03-24 858
低秩分解是一种有效的模型压缩技术，可以显著降低大规模神经网络模型的计算复杂度和存储需求。更高效的低秩分解算法：研究者们正在不断寻找更高效的低秩分解算法，以进一步提高模型的压缩效率。结合深度学习：将低秩分解与深度学习技术相结合，可以进一步提高模型的性能和压缩效率。应用场景的拓展：低秩分解在图像处理、推荐系统等领域有着广泛的应用，未来可以进一步拓展到其他领域。计算复杂度：低秩分解的计算复杂度较高，需要进一步优化算法以降低计算成本。
低秩分解 matlab.zip
05-17
低秩分解是现代数据分析和机器学习领域中的一个重要概念，它主要应用于图像处理、推荐系统、信号处理等多个领域。在MATLAB环境中，低秩分解能够帮助我们挖掘数据的潜在结构，去除噪声，以及发现隐藏的模式。这个“低...
深度学习模型压缩与加速综述
02-23
所以，卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，深度学习模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。分组卷积即将输入的featuremaps分成不同的组（沿channel...
大模型-大模型压缩基础认知视频
03-16
视频教程“大模型压缩”可能会详细讲解以上各种方法的原理、实现步骤以及在实际项目中的应用案例，帮助你深入理解如何有效地压缩大模型，从而在资源有限的环境中充分发挥其潜力。通过学习这部分内容，你将能够掌握大...
论文研究-基于低秩表示的非负张量分解算法.pdf
07-22
作为压缩感知理论的推广和发展，低秩表示将矩阵的秩作为一种稀疏测度，由于矩阵的秩反映了矩阵的固有特性，所以低秩表示能有效地分析和处理矩阵数据，把低秩表示引入到张量模型中，即引入到非负张量分解算法中，...
randomized-svd_矩阵低秩近似
09-21
在图像压缩中，低秩近似可以去除噪声，保留主要结构；在文本分析中，可以用于主题模型的构建等。 总的来说，"randomized-svd_矩阵低秩近似"涉及的是如何利用随机化算法高效地执行SVD，从而对高维矩阵进行降维处理，...
网络压缩-1、低秩分解
J_Boom的博客
02-26 6950
网络压缩(network compression) 1、低秩近似 （低秩分解 Low Rank Expansion） 上图展示了低秩分解的基本思想: 将原来大的权重矩阵分解成多个小的矩阵， 右边的小矩阵的计算量都比原来大矩阵的计算量要小， 这是低秩分解的基本出发点。 奇异值分解SVD、CP分解、Tucker分解、Tensor Train分解和Block Term分解 用低秩矩阵近似原有权重...
深度学习——模型的压缩和加速
樱缘之梦
01-27 3054
1. 简介 随着深度学习发展，越来越多的模型被发现和应用，模型的体量也越来越大，出现了模型过于庞大和参数冗余的问题。同时，移动端对模型的需求也是越轻量越好，因此，模型压缩和加速技术应运而生。 模型压缩和加速的方案有4种：参数修剪和共享（去除不重要的参数）、低秩分解（使用矩阵/张量分解来估计深层CNN【应该适应于其他神经网络模型】中具有信息量的参数）、迁移/压缩卷积滤波器（通过设计特殊结构的卷积核以减少存储和计算成本）、知识精炼（设计教师模型和学生模型，即训练一个更加紧凑的神经网络模型以再现大型网络的输出
CNN模型压缩总结
qq_23546067的博客
12-20 2330
CNN模型压缩总结 总结综述 参考：https://blog.csdn.net/shentanyue/article/details/83508497 模型裁剪/剪枝（Pruning） 单个权重(Weight)剪枝——非结构化 定义：任意权重被看作是单个参数并进行随机非结构化剪枝。 缺点： 导致网络连接不规整，需要通过稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空间来...
深度学习模型压缩分类及原理方法
茅场晶彦
06-24 703
深度学习模型压缩分类及原理方法 深度学习模型压缩思路 精细模型设计 模型裁剪及权重共享复用 低秩近似 知识蒸馏 核的稀疏化 模型量化（网络二值化） Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters 剪枝 就是通过去除网络中冗余的channels,filters, neurons, or layers以得到一个更轻量级的网络，同时不影响性能。 代表性的工作有
矩阵低秩有何意义？
qq_24876435的博客
03-09 9343
参考博客：https://blog.csdn.net/weixin_41894030/article/details/115699611 首先来思考，为什么叫“秩”？ 举个例子就很容易理解，大家排队买票。如果大家互相不认识，那就会一个排一个，非常有秩序。然而，如果突然来了一个与队伍前面的人认识的人，这个人又不自觉排队，非要插队。那后面的人肯定要有意见了，说你要是这样我前面 还有认识的人呢，你插我也插队，这样整个队伍就乱掉了， 谁也买不成。 通过这个例子，可以得到一下结论：彼此不认识，那就不相关，就有秩
业界分享 | 阿里达摩院：超大规模预训练语言模型落地实践
Kaiyuan_sjtu的博客
03-22 2478
2021年3月，阿里达摩院机器智能实验室AliceMind家族发布了最新训练的270亿参数规模的中文语言理解和生成统一模型--PLUG，但随着预训练模型规模越来越大，如何将大规模的预训练模型在下游任务上微调后直接部署成为了一个亟待解决的难题。因此，达摩院和计算平台PAI团队合作探索了基于稀疏的大规模语言模型落地方案，基于 PLUG 在各个任务上取得了超过同等规模小模型的结...
扩展PCA：通用低秩模型处理异构数据
在广义低秩模型中，不仅限于数值数据，而是允许对不同类型的数值、布尔值和类别信息进行联合处理，这使得数据压缩、去噪和填充缺失值变得更加统一和有效。模型的低秩因子具有多种有趣的解释，可用于实例聚类...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值