奇异值分解(SVD)的理解

SVD:Sigular Value Decomposition

SVD有深刻的物理含义,需要理解

1 Definition

A[m×n]=U[m×r]Σ[m×r](V[n×r])T

A: input data matrix
 ☆ m × n matrix(e.g, m documents, n terms)
U: Left singular vectors
 ☆ m × r matrix(e.g, m documents, r concepts)
Σ :Singular values
 ☆ r × r diagonal matrix (strength of each concept )(r: rank of matrix A)
V:Right singular vectors
 ☆ n × r matrix(n terms, r concepts)

2 Properties

It is always possible to decompose a real matrix A into UΣVT , where
U, Σ , V :unique(唯一的)
  i.e唯一的A, 会分解得到唯一的U, Σ , V
U, V: column orthonormal(列标准正交化)
 ☆ UTU=I;VTV=I ( I : identity matrix)
 ☆(Columns are orthogonal unit vectors)
Σ: diagobal(对角的)
 ☆Entries(singular values) are positive,and sorted in decreasing order( σ1σ2...0 )

3 examples

这里写图片描述
以上是SVD的一个例子
A 是用户对7个用户(7 rows)对5部(5 columns)电影的打分.对A分解得到
A=U[7×3]Σ[3×3]VT[5×3]
U 每一列“意味”着一个concept.
 ☆ so there are 3 concepts
Σ 对角线上每一个元素一位置concept强度
 ☆可以看出 3th concepts 的强度很低, 可以判断出这一concept不太重要
V <script type="math/tex" id="MathJax-Element-31">V</script> 是”movie-to-concept” simlarity matrix.
3 rows 代表3种不同的concept,5 columns代表5部不同的电影. 这一矩阵表明了每一部电影与每一种concept相似度,或者说, 每一部电影属于每一种concept概率.

According to first row [0.56 0.59 0.56 0.09 0.09], we can say:
similarity(movie_1, concept_1) = 0.56
similarity(movie_2, concept_1) = 0.59
similarity(movie_3, concept_1) = 0.56
similarity(movie_4, concept_1) = 0.09
similarity(movie_5, concept_1) = 0.09

本篇来自于Youtube视频的总结学习.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值