Raki的统计学习方法笔记0xF(15)章：奇异值分解

最新推荐文章于 2024-09-27 23:47:11 发布
最新推荐文章于 2024-09-27 23:47:11 发布
阅读量956 收藏
点赞数
分类专栏： 统计学习方法 文章标签： 线性代数 矩阵 机器学习 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/123377780
版权

奇异值分解是一种矩阵因子分解方法，是线性代数的基础概念，在统计学习中被广泛运用，PCA, LSA,pLSA都要用到SVD，而EM,LSA,MCMC,又是LDA的基础，故有了这个笔记顺序

任意一个 m * n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别是
m阶正交矩阵，由降序排列的非负的对角线元素组成的m * n 矩形对角矩阵 ，n阶正交矩阵
成为该矩阵的奇异值分解，矩阵的奇异值分解一定存在但是不唯一。

奇异值分解可以看做是矩阵数据压缩的一种方法，即用因子分解的方式近似表示原始矩阵，这种近似是在平方损失意义下的最优近似

实际应用中一般使用截断奇异值矩阵，即将高维稀疏矩阵压缩为低维稠密矩阵，保留其大部分的信息

紧奇异值分解对应无损压缩，其对角矩阵的秩跟原矩阵的秩是相等的，比秩多的行可以认为是冗余部分，而紧奇异值分解就是舍弃了这个冗余部分

截断奇异值分解对应有损压缩，其保留原矩阵的大部分信息

几何解释

  1. 一个坐标系的旋转或反射变换
  2. 一个坐标轴的缩放变换
  3. 另一个坐标系的旋转或反射变换

在这里插入图片描述

图像例子

SVD-矩阵奇异值分解 —— 原理与几何意义

原图：
在这里插入图片描述
设置 k = 10，得到的压缩图：
在这里插入图片描述
k = 20：
在这里插入图片描述
k = 30：
在这里插入图片描述
继续增加 k 值，将会得到越来越接近原始图的压缩图

计算

奇异值分解（SVD）

在这里插入图片描述
在这里插入图片描述

学会了奇异值分解之后，我们就可以愉快的学习后面的LSA等算法了~

爱睡觉的Raki
关注
专栏目录
C++ primer plus 第六章笔记和答案
qq_42199510的博客
09-26 329
二、复习题答案 switch (ch) { case 'A':a_grade++; break; case 'B':b_grade++; break; case 'C':c_grade++; break; case 'D':d_grade++; break; default:f_grade++; break; } int line = 0; char ch; while (cin.get(ch) && ch != 'Q') { if (ch
C++学习之路（五），C++primer plus 第六章 分支语句和逻辑运算符－编程练习
hsoftk的博客
08-16 378
　　1.　编写一个程序，读取键盘输入，直到遇到 @ 符号为止，并回显输入（数字除外），同时将大写字符转换为小写，将小写字符转换为大写（表忘了 cctype 函数系列）。 #include<iostream> #include<cctype> using namespace std; int main() { char ch; cout << "Ent...
奇异值分解SVD
李问渔
02-27 811
写在前面的毒鸡汤 所谓原创，只是个人对某一个知识点脉络的梳理。 最近被F家的Slogan圈粉： Done is better than perfect. 与所有的拖延癌君共勉。 奇异值分解的定义与性质 **奇异值分解（singular value decomposition，SVD）**是一种矩阵因子分解方法。任意一个m×nm\times nm×n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，...
Raki的读paper小记：Forget-free Continual Learning with Winning Subnetworks
Raki_J的博客
03-05 808
l1​WSN联合学习与每个任务相关联的子网络相关的模型权重和任务自适应二进制掩码，同时尝试通过重用之前子网络的权重来选择要激活的一小组权重（获胜票），每张中奖彩票产生的二进制掩码被编码为一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以实现网络容量相对于任务数量的亚线性增长与图1a基于修剪的CL方法不同，该方法在预先训练的主干网络中获得特定于任务的子网络，我们。为了在模型学习新任务时允许前向转移，我们将学习到的，但有选择地，而不是使用所有权重（图1b），这可能会导致有偏的转移。
Raki的读paper小记：Kernel Continual Learning
Raki_J的博客
04-09 544
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 创新思路 部署了一个外显记忆单元，为每个任务存储一个子储存每个任务的子样本集，以学习特定任务的 基于核岭回归的分类器 不需要记忆重放，而且系统性地避免了分类器的任务干扰 我们进一步引入变分随机特征，来为每个任务学习一个数据驱动的内核，为此，我们将核持续学习表述为一个变分推理问题，其中随机傅里叶基被纳入为隐变量 实验结论 随机傅里叶基础上的变分后验分布是从每
Raki的读paper小记：DualNet: Continual Learning, Fast and Slow
Raki_J的博客
04-09 2990
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 虽然无监督和元训练在简单的数据集如MNIST和Omniglot上显示出比较好的结果，但它们缺乏对现实世界基准的扩展性。相比之下，我们的DualNet将表征学习解耦到慢速学习器中，通过与监督学习阶段的同步训练，在实践中是可以扩展的。此外，我们的工作将自我监督的表征学习纳入持续的学习过程中，不需要任何预训练步骤 创新思路 提出了DualNet，其中包括一个快速
Raki的读paper小记：ConTinTin: Continual Learning from Task Instructions
Raki_J的博客
01-12 510
此工作提出了一个NLP持续学习新范式
GrappaNet: 深度学习与多线圈MRI重建
14315GrappaNet：将并行成像与深度学习结合用于多线圈MRI重建AnuroopSriram 1JureZbontar 1TullieMurrell 1C.劳伦斯·齐特尼克1亚伦·德法齐奥1丹尼尔·K. Sodickson21Facebook AI Research（FAIR）2纽约大学医摘要...
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 3998
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
Raki的读paper小记：CLIP:Learning Transferable Visual Models From Natural Language Supervision
Raki_J的博客
09-02 874
然后，可以通过自然语言提示利用该任务学习，以实现对许多现有数据集的zero-shot。在足够的规模下，该方法的性能可以与任务特定的监督模型匹敌，尽管仍有很大的改进空间。算是小神作，实验巨大巨全，启发了后面多模态很多很多的工作，初步展现大模型在多模特领域的超强威力。我们发现，采用该范式会使计算机视觉领域出现类似行为，并讨论了这一研究领域的社会影响。我们研究了是否有可能将NLP中任务无关的网络规模预训练的成功转移到另一个领域。使用自然语言作为监督信号，把规模做大，并且不需要标注。
Raki的网络流24题题解总结
Raki_J的博客
08-15 854
网络流24题： from：Luogu P4011 孤岛营救问题 P2756 飞行员配对方案问题 P2761 软件补丁问题 P4016 负载平衡问题 P3358 最长k可重区间集问题 P4014 分配问题 P4009 汽车加油行驶问题 P4015 运输问题 P2774 方格取数问题 P4012 深海机器人问题 P2762 太空飞行计划问题 P2770 航空路线问题 P2754 [CTSC1999]家园 / 星际转移问题 P3254 圆桌问题 P1251 餐巾计划问题 P2763 试题库问题 P2766 最
Raki的读paper小记：PromptBERT: Improving BERT Sentence Embeddings with Prompts
Raki_J的博客
03-03 1658
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 ConSERT SimCSE 面临挑战 这些方法的目标是消除句子嵌入中的各向异性。然而，我们发现，各向异性并不是导致语义相似度差的主要原因。例如，在语义文本相似性任务中，对原始BERT的最后一层进行平均化甚至比对其静态标记嵌入进行平均化更差，但最后一层的句子嵌入比静态标记嵌入的各向异性要小一些 我们发现分布不仅偏重于频率，而且在WordP
Raki的paper复现：Transformer
Raki_J的博客
01-13 736
咕咕咕了很久，它终于要来辣！ 本blog将会按照paper中的顺序，完整复现transformer模型，但是不会有训练的部分，想看训练部分的请参考哈佛的blog原文（： reference： 哈佛大学NLP组的transformer复现 Transformer源码详解（Pytorch版本） 老规矩，先上整体架构图： Encoder and Decoder Stacks 此处的Encoder是堆叠之后的结果，每个layer是单个encoder，首先将其复制 NNN = 6次 class Encoder
Raki的读paper小记：Dark Experience for General Continual Learning: a Strong, Simple Baseline
Raki_J的博客
04-10 1850
Abstract & Introduction & Related Work 研究任务 通用持续学习 已有方法和相关工作 面临挑战 忽略了实际场景的特性，即数据流不能被塑造为任务序列，而且离线训练也不可行 我们致力于实现一般持续学习（GCL），在这种情况下，任务边界模糊，领域和类别分布逐渐或突然转变。我们通过将重现与知识蒸馏和正则化相混合来解决这个问题；我们简单的baseline，即黑暗经验重放，与整个优化轨迹中采样的网络对数相匹配，从而促进与它的过去的一致性 创新思路 依靠黑暗知
Raki的nlp-begginer 提问
Raki_J的博客
03-08 1022
task1 logistic回归的公式？ softmax和logistic的异同点？ logistic函数的缺点 softmax的特点 解释下bag of words 和 n-gram，有什么缺陷 交叉熵损失的作用，为什么不选择最小均方误差或者绝对值误差？ task2 RNN，LSTM，GRU的结构，为什么可以缓解长程依赖问题？ word embedding？Word2Vec，GloVe，还知道其他的词表征方式吗？（textrank，tf-idf，LSA，pLSA，ELMo，GPT，fastText，
线性代数（持续更新）
qq_73509351的博客
09-25 544
矩阵就是一个数表元素全是0，是零矩阵，用0来表示当m=n时，称为n阶矩阵（方阵）只有一行的叫行矩阵，只有一列的叫列矩阵只有对角线有元素的叫做对角矩阵，用diag（a11，a22，.... ann） 表示对角元全是1的对角矩阵叫单位矩阵对角元全是k的对角矩阵叫数量矩阵上三角矩阵下三角矩阵。
矩阵的特征值和特征向量
u013172930的博客
09-27 1204
特征值和特征向量的定义、几何意义、求法（计算步骤）、举例说明、性质、应用
《线性代数》学渣笔记
每一次跌倒，都是为了下一次站得更稳。
09-20 1798
笔记
线性代数复习笔记
annesede的博客
09-25 1105
复习自用，仅供参考~
5.3 克拉默法则、逆矩阵和体积
最新发布
passxgx的博客
09-27 942
行列式的应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值