奇异值分解(SVD)的理解

SVD:Sigular Value Decomposition

SVD有深刻的物理含义，需要理解

1 Definition

$$A_{[m×n]}=U_{[m×r]}\Sigma_{[m×r]}(V_{[n×r]})^T$$

A: input data matrix
　☆ m × n matrix(e.g, m documents, n terms)
U: Left singular vectors
　☆ m × r matrix(e.g, m documents, r concepts)
$\Sigma$:Singular values
　☆ r × r diagonal matrix (strength of each concept )(r: rank of matrix A)
V:Right singular vectors
　☆ n × r matrix(n terms, r concepts)

2 Properties

It is always possible to decompose a real matrix A into $U\Sigma V^T$, where
★ U, $\Sigma$, V :unique(唯一的)
　　i.e唯一的A, 会分解得到唯一的U, $\Sigma$, V
★U, V: column orthonormal(列标准正交化)
　☆$U^TU = I; V^TV = I$ ($I$: identity matrix)
　☆(Columns are orthogonal unit vectors)
★$\Sigma$: diagobal(对角的)
　☆Entries(singular values) are positive,and sorted in decreasing order($\sigma_1\geq\sigma_2\geq...\geq0$)

3 examples

以上是SVD的一个例子
$A$ 是用户对7个用户(7 rows)对5部(5 columns)电影的打分.对$A$分解得到
$A=U_{[7×3]}\Sigma_{[3 ×3]}V_{[5×3]}^T$
★ $U$ 的每一列“意味”着一个concept.
　☆ so there are 3 concepts
★ $\Sigma$ 对角线上每一个元素一位置concept的强度
　☆可以看出 3th concepts 的强度很低, 可以判断出这一concept不太重要
★ V <script type="math/tex" id="MathJax-Element-31">V</script> 是”movie-to-concept” simlarity matrix.
3 rows 代表3种不同的concept,5 columns代表5部不同的电影. 这一矩阵表明了每一部电影与每一种concept的相似度,或者说, 每一部电影属于每一种concept的概率.

According to first row [0.56 0.59 0.56 0.09 0.09], we can say:
similarity(movie_1, concept_1) = 0.56
similarity(movie_2, concept_1) = 0.59
similarity(movie_3, concept_1) = 0.56
similarity(movie_4, concept_1) = 0.09
similarity(movie_5, concept_1) = 0.09

本篇来自于Youtube视频的总结学习.