SVD及在卷积层的应用

最新推荐文章于 2022-10-15 10:42:02 发布
最新推荐文章于 2022-10-15 10:42:02 发布
阅读量474 收藏 1
点赞数
分类专栏： SVD 低秩分解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45614508/article/details/109078800
版权
本文介绍了SVD（奇异值分解）及其在卷积层中的应用。首先讲解了特征值分解（EVD）的基本概念，然后详细阐述了SVD的定义和求解方法。在卷积操作中，由于非方阵的存在，EVD无法直接应用，这时SVD成为有效工具。SVD可以减少卷积层的参数量和计算量，通过近似描述矩阵，实现网络加速。文章探讨了两种不同的SVD卷积分解方式，并展示了它们如何等效于常规卷积操作。
摘要由CSDN通过智能技术生成

SVD及在卷积层的应用

讲SVD分解之前先得讲特征值分解（EVD），在EVD的基础上理解SVD会更容易些

1、特征值分解（EVD）

特征值分解，如果矩阵A是一个m×m的实对称矩阵，那么它可以被分解为：

其中Q为标准正交阵，即有QQT=I，Σ为对角矩阵，且上面的矩阵的维度均为m×m。λi称为特征值，ui是Q（特征矩阵）中的列向量，称为特征向量。

=λ1u1u1T+λ2u2u2T+λ3u3u3T+….

式中Q=[u1  u2  u3… um]，其中ui为m行的列向量。

 

【面试题】:若用特征值分解矩阵，最少需要多少个参数表示？

最少需要m+1个参数。因为只取分解后的第一项λ1u1u1T，u1需要m个参数表示，λ1需要一个参数，所最少需要m+1个。

最低0.47元/天 解锁文章
Filo_Liu
关注
专栏目录
人工智能在电商领域的五大应用场景及未来趋势
程序员光剑
08-07 1670
欢迎来到第七期《人工智能在电商领域的五大应用场景及未来趋势》专题。人工智能（Artificial Intelligence）一直都是互联网行业的热点话题，电子商务网站的营销活动、商品推荐系统等领域均采用了人工智能技术。因此，对电商运营者来说，如何充分利用人工智能技术提升营销效果，至关重要。本文将从多个角度出发，总结电商领域的五大应用场景——搜索排序、个性化推荐、商品画像、异常检测、用户画像分析——及其背后的应用挑战与技术进步方向。同时，还会分享未来的发展趋势与关键技术应用。
奇异值分解（SVD）
qq_25300563的博客
01-06 552
之前写的一篇博文里面介绍了PCA这个数据降维的方法，今天另一个降维方法SVD将隆重登场。本打算在写完分类算法之后再写SVD的相关博文，碰巧今天早上刷今日头条的时候看到了腾讯的微票儿平台用的特征工程算法竟然就有SVD（另一个是卷积神经网络CNN），再加上之前就发现SVD在推荐系统中很受欢迎，那今天就简单介绍下这个工业界特征过程的宠儿-----SVD。         SVD是Singular Va
快速 2-D 卷积：使用 SVD 加速许多 2-D 卷积； 在其他情况下也可以找到快速近似值。-matlab开发
06-01
CONVOLVE2 可用于使用 CONV2 的任何地方，采用相同的参数并将相同的结果返回到一个小的容差范围内。 通过使用掩码的奇异值分解将其表示为外积之和，可以加快计算速度。 这些中的每一个都可以有效地计算为与行和列向量的卷积。 CONV2 用于执行单个卷积。 可分离掩码是一种特殊情况，与 FILTER2 一样由 CONVOLVE2 处理。 许多其他不可分离的掩码具有低秩（例如 Gabor 函数掩码）并且由 CONVOLVE2 更有效地处理。 如果需要，该函数还将计算给定掩码的降阶近似值，并在加速计算时使用它。 一个额外的参数允许控制错误。 额外的形状选项允许： (a) 2-D“圆形”卷积——即，输入数组被认为是周期性的而不是被零包围； (b) “反射”边界条件——也就是说，输入数组被其自身的反射副本包围。 参见“计算机和机器人视觉”第一卷，RM Haralick 和 LG Shapiro
关于fft，svd，卷积，图像卷积
Python自学记录
08-30 461
1.内容 fft，svd 2.代码 2.1. Ensumble.py #!/usr/bin/python # -*- coding:utf-8 -*- import operator def c(n, k): return reduce(operator.mul, range(n-k+1, n+1)) / reduce(operator.mul, range(1, k+1)) d...
深度学习模型压缩加速专题-2.SVD
weixin_42096202的博客
04-17 1003
接着上一篇，这个比赛的考核点主要是两个方面：1.运行显存，这个主要跟参数量有关 2.运行时间，由MAC即乘加等运算量决定。熟悉DCNN网络的应该都知道，网络的参数量主要集中在FC层，所以SVD是用来对FC矩阵分解，减少参数量。 1.SVD原理： 2.SVD代码 ...
深度学习剖根问底：卷积的通俗理解
BigCowPeking
09-10 1281
1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。  不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。  这个其实非常简单的概念，国内的大多数教材却没有讲透。 直接看图，不信看不懂。以离散信号为例，连续信号同理。 已知x[0] = a, x[1] = b, x[2]=c  已知y[0] = i, y[1] = ...
Matlab GPU矩阵求特征值计算
wwxy1995的博客
12-14 1234
GPU求特征值的使用方法 clear all clc M = rand(2000,2000); % 生成一个随机矩阵 tic [A1,B1] = eig(M); % 求该随机矩阵的特征值和特征向量 t1=toc tic M = single(M); % 将数据转换为单精度型 M = gpuA...
深入学习卷积神经网络中卷积层和池化层的意义
热门推荐
fu6543210的博客
09-22 9万+
  为什么要使用卷积呢？ 　　在传统的神经网络中，比如多层感知机（MLP），其输入通常是一个特征向量：需要人工设计特征，然后将这些特征计算的值组成特征向量，在过去几十年的经验来看，人工找到的特征并不是怎么好用，特征有时多了（需要PCA降维），特征有时少了（容易过拟合），有时选择的特征根本就不起作用（真正起作用的特征在浩瀚的未知里面）。这就是为什么在过去卷积神经网络一直被SVM等完虐的原因。 ...
matlab卷积层如何实现压缩感知
最新发布
08-10
在Matlab中，卷积层可以通过使用压缩感知算法来实现图像压缩。 首先，需要准备一个压缩感知矩阵（稀疏性矩阵）和一个稀疏表示矩阵。压缩感知矩阵用于对图像进行稀疏表示，将图像信号转换为压缩感知矩阵的稀疏表示。...
svd计算例子
08-10
SVD分解计算方式
如何使用联合矩阵分解来对全卷积神经网络中的卷积层进行压缩
07-13
在`forward`方法中，我们首先将卷积层的权重矩阵进行SVD分解，然后根据设定的低秩程度进行压缩，并将压缩后的权重矩阵用于更新卷积层参数。 请注意，这只是一个简化的示例，实际应用中可能需要根据具体的模型结构和...
机器学习实战-SVD与特征值分解的理论推导及SVD在推荐系统中的应用
MrdotJim的博客
09-13 746
参考文献： [1] [机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应用      本文基于参考文章[1]的理解上，先对特征值分解进行简单介绍，然后引入奇异值分解（SVD）的理论推导，最后对SVD在推荐系统中的应用进行说明。 1、特征值分解        2、奇异值分解（SVD，Singular Value Decomposition）        SVD是一种强大的降维工
【机器学习】奇异值分解
LJR的博客
10-15 880
奇异值分解 紧奇异值分解 截断奇异值分解 几何解释 计算过程 特征值分解 SVD EVD PCA
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)
fenglepeng的博客
05-12 4万+
前面, 我们介绍了DNN及其参数求解的方法(BP算法),我们知道了DNN仍然存在很多的问题,其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸的问题.那么,人们又是怎么解决这个问题的呢?本节的卷积神经网络(Convolutional Neural Networks, CNN)就是一种解决方法. 我们知道神经网络主要有三个部分组成, 分别为: 网络结构---描述神经元的层次与连接神经元的结构. 激活函数(激励函数)--- 用于加入非线性的因素,解决线性模型所不能解决的问题. 参数学习方...
机器学习——特征值分解
joker_shy的博客
08-07 2958
特征值特征向量的定义 Aα = λα（α不等于0） A是一个n阶矩阵 α是n维的非零向量 λ是一个常数 如果Aα = λα（α不等于0）那么λ称为A的特征值，α就是A的对于特征值λ的特征向量 如果ｎ个特征向量线性无关那么就可以进行特征的分解 特征值分解 n个特征向量线性无关可以进行特征分解 A=WΣW-1 其中W是这n个特征向量所张成的n×n维矩阵，并对n个特征向量标准化，而Σ为这n个特征值为主对...
SVD分解原理及基于SVD分解的图像压缩和去噪
诚朴勇毅
10-07 5597
SVD分解是矩阵论中的一个知识点，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。SVD分解的公式如下，其中U和V都为正交矩阵，中间的为特征值构成的对角矩阵，相对于正交对角分解，SVD分解的适应性更强，应为A不必是方阵，下面是SVD分解的公式。 用SVD做图像压缩，就是用部分特征值以及左/右奇异矩阵部分列来近似矩阵A。对角矩阵的对角线元素都为非负的实数，且按...
一文读懂 12种卷积方法（含1x1卷积、转置卷积和深度可分离卷积等）
小白学视觉
06-27 1861
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达我们都知道卷积的重要性，但你知道深度学习领域的卷积究竟是什么，又有多少种类吗？研究学者 Kunlun Bai 近日发布一篇介绍深度学习的卷积文章，用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。鉴于原文过长，机器之心选择其中部分内容进行介绍，2、4、5、9、11、12 节请参阅原文。如果你听说过深...
【实习】血流流量的去卷积的检测方法
2020找offer
02-13 124
PCA 奇异值分解(SVD)原理与在降维中的应用 PCA 降维算法详解 以及代码示例 RPCA 核范数 RPCA ADMM DRPCA Wiener滤波器 BCCB卷积 LASSO
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值