奇异值的含义（包含数学和物理）和SVD详解（包含酉矩阵的定义）

无念而悲

已于 2022-07-12 17:14:59 修改

阅读量3.1k

点赞数 7

文章标签：计算机视觉深度学习

于 2021-11-19 10:30:48 首次发布

本文链接：https://blog.csdn.net/weixin_50508111/article/details/121416999

版权

一.奇异值的含义（包含数学和物理）

下面的博客中分享了一个关于奇异值物理含义的文章那个
https://blog.csdn.net/u011754972/article/details/122100701

不想看奇异值数学含义的可以直接看物理含义：https://www.zhihu.com/question/22237507
下面是评论区有启发的对话，欣赏一下在这里插入图片描述

二.SVD详解

原文链接：https://zhuanlan.zhihu.com/p/57803955
原文链接：https://zhuanlan.zhihu.com/p/267640751

1.回顾ED

在这里插入图片描述

注意：下面的谬u和v都是向量，不是常数

2.SVD几何含义

在这里插入图片描述

3.SVD的性质

4.SVD的具体应用

由于上述性质因此SVD可用于PCA降维，来做数据压缩和去噪。
也可以用户推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。
同样可以用于NLP算法，比如潜在语义索引(LSI)。
推荐算法

传统 SVD 分解在元素缺失上面的问题：
历史上对缺失值的研究有很多，对于一个没有被打分的物品来说，到底是应该给它补一个 0 值，还是应该给它补一个平均值呢？由于在实际过程中，元素缺失值是非常多的，这就导致了早期的 SVD 不论通过以上哪种方法进行补全在实际的应用之中都是不可以被接受的。
LFM （Latent Factor Model）
直到 2006年 Netflix Prize 中 Simon Funk 在博客公开的算法。将评分矩阵分解成两个低维矩阵相乘，Simon Funk的思想很简单：可以直接通过训练集中的观察值利用最小化均方根学习P，Q矩阵。这种模型也被称作是 LFM （隐语义模型）。
简单的来说就是将原本的 SVD 的思想上加上了线性回归，也就是说，我们可以用均方差作为损失函数，来寻找 P 和 q 的最终值，线性回归和均方差对于机器学习的同学们来说一定不陌生了，如果你还没有了解过，可能一下子理解不了下面的公式，那么我建议还是先从线性回归学起，便于理解。不过，线性回归也就是一句话 —— 线性函数参数调优。
在 Funk-SVD 获得巨大成功之后，很多著名的模型都是对 Funk-SVD 进行缝缝补补得到的（详情可参见 Netflix Prize `Koren:2009` `Ricci:2010，其中Netflix Prize是由美国 Netflix 公司举办的 Netflix Prize，这是一个旨在解决电影评分预测问题的竞赛，基于Funk-SVD的推荐算法在该比赛中大放异彩。），于是就有了在预测模型中添加三项偏移的模型，被称为 BaisSVD。

Biased Item
Biased User
Biased Mean
Biased Item（物品偏移），表示了物品接受的评分和用户没有多大关系，物品本身质量决定了的偏移。

Biased User（用户偏移），有些用户喜欢打高分，有些用户喜欢打低分，用户决定的偏移。

Biased Mean（全局平均值偏移），根据网站全局打分设置的偏移，可能和整体用户群和物品质量有相对应的关系。

在这里插入图片描述