【BI学习心得05-SVD矩阵分解与基于内容的推荐】

---

写在前面的话

随着人工智能的爆火，越来越多的人加入了这波学习人工智能的热潮。高校开设相关课程，但是拦在很多人面前的第一道难关不是编程，是数学。当然不例外的，要想深入理解并掌握SVD，我们需要弄清楚它的数学原理。通过数学原理不断扩充并延展出了SVD，以及相关变种。

1.矩阵的几种分解方式

1.1共轭转置 Conjugate transpose

如果我们有一个复数矩阵A：
$$\left[\begin{array}{ccc}1& -2-i& 5\\ 1+i& i& 4-2i\end{array}\right]$$

A的转置为$A^T$:
$$\left[\begin{array}{cc}1& 1+i\\ -2-i& i\\ 5& 4-2i\end{array}\right]$$

共轭转置为$\overline{A^T}$
$$\left[\begin{array}{cc}1& 1-i\\ -2+i& -i\\ 5& 4+2i\end{array}\right]$$

共轭转置也经常记为：$A^{\ast }$，$A^H$（这个写法跟下面的 Hermitian 定义有关）, $\overline{A^T}$

1.2Hermitian

Hermitian matrix 埃尔米特矩阵： 埃尔米特矩阵中每一个第i行第j列的元素都与第j行第i列的元素的复共轭。 也就是这个矩阵等于它的共轭转置。

我们知道复数$z=a+ib\in C$，共轭复数$z=a-ib\in C$
$$\begin{array}{r}AHermitian⟺a_{ij}=\overline{a_{ji}}\\ AHermitian⟺A=\overline{A^H}\end{array}$$

如果$A\in R^{n\ast n}$ 是实数矩阵，并且是Hermitian，那么$a_{ij}=a_{ji}$就是对称矩阵。实对称矩阵我们一般就说它是实对称矩阵，同时它也是Hermitian。

如果我们有一个复数矩阵A，那么它需要等于它的共轭转置，比如：
$$\left[\begin{array}{ccc}2& 2+i& 4\\ 2-i& 3& i\\ 4& -i& 1\end{array}\right]$$

其实Hermitian也暗示了我们这个矩阵需要是方阵，至少我们转置之后的维度要跟原来的相等。

1.3正定 positive definite

一个$n\ast n$的实对称矩阵M是正定的，当且仅当对于所有的非零实系数向量z，都有$z^{T}Mz>0$。其中$z^T$表示z的转置。
$$Mpositivedefinite⟺x^{M}x>0forallx\in R^n$$

首先，实对称矩阵 M 不一定是正定的，比如 M = -1：
$$\begin{array}{ccc}[1& 0& 1]\end{array}\left|\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& -1\end{array}\right|\left|\begin{array}{c}1\\ 0\\ 1\end{array}\right|=-2<0$$
对于复数，一个$n\ast n$的埃尔米特矩阵M是正定的当且仅当对于每个非零的负向量z，都有$z\ast Mz$>0。其中$z\ast$表示z的共轭转置。由于M是埃尔米特矩阵，经计算可知，对于任意的复向量z，$z\ast Mz$必然是实数，从而可以与0比较大小。因此这个定义是自洽的。
$$Mpositivedefinite⟺x\ast Mx>0forallx\in C^n$$

Hermitian 也当然不一定正定，我们可以有一些判定方法：

• 矩阵M的所有的特征值 ${\lambda }_i$ 都是正的

1.4正交矩阵 orthogonal matrix

$$Q^T=Q^1⟺Q^{T}Q=Q{Q}^T=I$$
$$1=det(I)=det(Q^{T}Q)=det(Q^T)det(Q)=(det(Q){)}^2=>det(Q)=\pm 1$$

• 作为一个线性映射（变换矩阵），正交矩阵保持距离不变，所以它是一个保距映射，具体例子为旋转与镜射。
• 行列式值为+1的正交矩阵，称为特殊正交矩阵（special orthogonal group），它是一个旋转矩阵。
• 行列式值为-1的正交矩阵，称为瑕旋转矩阵。瑕旋转矩阵是旋转加上镜射。镜射也是一种瑕旋转。
• 所有$n\ast n$的正交矩阵形成一个群$O(n)$，称为正交群。同样的，正交矩阵与正交矩阵的乘积也是一个正交矩阵。
• 所有特殊正交矩阵形成一个子群$SO(n)$，称为特殊正交群。同样的，旋转矩阵与旋转矩阵的乘积也是一个旋转矩阵。

1.5酉矩阵 unitary matrix

酉矩阵/幺正矩阵：
$$UU=UU=I_n$$

就是 U 和其 共轭转置$U^{\ast }$乘积为 单位矩阵。它是 正交矩阵 在复数上的推广。

酉（汉语拼音：yǒu）为地支的第十位，其前为申、其后为戌。酉月为农历八月，酉时为二十四小时制的17:00至19:00，在方向上指正西方。五行里酉代表金，阴阳学说里酉为阴。

说实话，这个字之前还没注意过它怎么念。unitary 作为 unit 的形容词，单位的、一元的，鉴于单位矩阵这个已经被 take 了，被翻成 幺正矩阵 也和不错，也大概有一元那么个意思。翻成酉矩阵大概也是文化人才能做到吧。

酉矩阵有很多很好的性质：

• $U^{-1}=U^{\ast }$，酉矩阵必定可逆，且逆矩阵等于其共轭转置
• $|{\lambda }_n|=1$，酉矩阵U的所有特征值${\lambda }_n$，其绝对值都是等于1的复数
• $|det(U)|=1$，酉矩阵U行列式的绝对值也是1
• $(U\overline{x})\cdot (U\overline{y})=\overline{x}\cdot \overline{y}$，酉矩阵U不会改变两个复向量$\overline{x}$和$\overline{y}$的点积

1.6正规矩阵 normal matrix

正规矩阵（英语：normal matrix）A 是与自己的共轭转置满足交换律的复系数方块矩阵，也就是说，A 满足
$$A^{\ast }A=A{A}^{\ast }$$

$A^{\ast }$是A的共轭转置。

如果A是实系数矩阵，则$A^{\ast }=A^T$，从而条件简化为$A{A}^T=A^{T}A$。

正规矩阵的概念十分重要，因为它们正是能使谱定理成立的对象：矩阵 A 正规当且仅当它可以被成$A=U\Lambda U^{\ast }$的形式。其中的 $\Lambda =diag({\lambda }_1,{\lambda }_2,\dots )$为对角矩阵，U 为酉矩阵。

总而言之，就是正规矩阵一定可以特征分解/频谱分解/谱定理。

1.7类比

不同种类的正规矩阵可以与各种复数建立对应的类比关系。比如：

• 可逆矩阵类似于非零的复数。
• 矩阵的共轭转置类似于复数的共轭
• 酉矩阵类似于模等于1的复数。
• 埃尔米特矩阵类似于实数。
• 埃尔米特矩阵中的正定矩阵类似于正实数。

1.8分解

$A=PLU$

• 适用：方阵
• 分解： A = PLU, L 是 下三角阵， U 是 上三角阵，而 P 则是 permutation 行变换，单位矩阵变换可得， 如果没有行变换，A 就 直接分解成 LU. PLU 分解源自高斯消元法。
  

1.9Cholesky 分解

• 适用：方阵、hermitian、正定 positive definite
• 分解： A=LL^*
  
  A 是正定的 Hermitian阵， L 是下三角矩阵， $L^{\ast }$是 L 的共轭转置， 是一个上三角。

1.10QR分解

• 适用于：列向量线性无关的矩阵m*n，$m\ge n$
• 分解：A=QR，Q是$m\ast n$的酉矩阵，又叫做幺正矩阵（unitary matrix）, R 是一个上三角矩阵

对于方阵的QR分解我比较熟悉

如果A不是方阵的话，那么三角矩阵只会占据一部分，下面会都是0， 所以经常也这样写 QR 分解：
$$A=QR=Q\left|\begin{array}{c}{R}_1\\ 0\end{array}\right|=\begin{array}{c}[Q_1,Q_2]\end{array}\left|\begin{array}{c}{R}_1\\ 0\end{array}\right|=Q_1{R}_1$$

where R1 is an n×n upper triangular matrix, 0 is an (m − n)×n zero matrix, Q1 is m×n, Q2 is m×(m − n), and Q1 and Q2 both have orthogonal columns.

计算 QR 分解 我们可以用 Gram–Schmidt 或者 Householder reflections.

1.11特征分解/频谱分解 Eigendecomposition / spectral decomposition

• 适用于： 具有线性独立特征向量（不一定是不同特征值）的方阵 A
• 分解：$A=Q\Lambda Q^{-1}$
  
  Q 是 n x n 的矩阵， 第 i 列是 A 的 特征向量$\overline{q_i},\Lambda$是对角阵，其中第 i个 对角元素${\Lambda }_{ii}={\lambda }_i$， 是跟 特征向量$\overline{q_i}$对应的 特征值${\lambda }_i$. 这里需要注意只有可对角化矩阵才可以作特征分解。比如$\left|\begin{array}{cc}1& 1\\ 0& 1\end{array}\right|$不能被对角化，也就不能特征分解。

一般来说，特征向量$\overline{q_i},(i=1,...,N)$一般被单位化（但这不是必须的）。未被单位化的特征向量组$\overline{q_i},(i=1,...,N)$也可以作为Q的列向量。这一事实可以这样理解：Q中向量的长度都被Q^1抵消了。

这里我们虽然用了Q这个字母，但是我们并没有说它是一个正交阵，因为之前写特征分解的手也提到过：

对于任意矩阵，其对应于不同特征值的特征向量线性无关，但不一定正交，而对于实对称矩阵，其对应于不同特征值的特征向量是相互正交的。

特征分解很容易推导：
$$\begin{array}{rl}\mathbf{A}\mathbf{v}& =\lambda \mathbf{v}\\ \mathbf{A}\mathbf{Q}& =\mathbf{Q}\mathbf{\Lambda }\\ \mathbf{A}& =\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}.\end{array}$$

1.12理论基础

$$\begin{gathered} A\vec{v}=\lambda \vec{v} \\ p(\lambda )=det(A-\lambda I)=0 \end{gathered}$$

由代数基本定理（Fundamental theorem of algebra）我们知道 [公式] 有 N 个解。这些解的解集也就是特征值的集合，有时也称为“谱”（Spectrum）。

代数基本定理: 任何一个非零的一元n次复系数多项式，都正好有n个复数根（重根视为多个根）。

因式分解：
$$p(\lambda )=(\lambda -{\lambda }_1{)}^{n1}(\lambda -{\lambda }_2{)}^{n2}...(\lambda -{\lambda }_k{)}^{nk}=0$$

其中：
$$\sum _{i=1}^k{n}_i=N$$

对每一个特征值${\lambda }_i$，我们都有下式成立：
$$(A-{\lambda }_{i}I)v=0$$

对每一个特征方程，都会有$m_i(1\le m_i\le n_i)$个线性无关的解。这$m_i$个向量与一个特征值${\lambda }_i$相对应。这里，整数 [公式] 称为特征值 [公式] 的几何重数（geometric multiplicity），而$n_i$称为代数重数（algebraic multiplicity）。这里需要注意的是几何重数与代数重数可以相等，但也可以不相等。一种最简单的情况是$m_i=n_i=1$。特征向量的极大线性无关向量组中向量的个数可以由所有特征值的几何重数之和来确定。

这也是之前我们强调适用条件是 “具有线性独立特征向量（不一定是不同特征值）的方阵 A”，也就是看 n x n 的方阵 A 是否可以特征分解主要是看几何重数之和是否为 n 了。

1.13实对称矩阵

对于任意的 n x n 实对称矩阵都有 n 个线性无关的特征向量，并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。所以：
$$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$$

其中Q为正交矩阵，$\Lambda$为对角矩阵。

1.14正规矩阵

一个复正规矩阵具有一组正交特征向量基，故正规矩阵可以被分解成
$$\mathbf{A}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{\ast }$$

其中U是酉矩阵。

特征分解对于理解线性常微分方程或线性差分方程组的解很有用。 例如，差分方程$x_t+1=A{x}_t$初始条件开始$x_0=c$到$x_t=A^{t}c$，相当于$x_t=V{D}^t{V}^{-1}c$，其中V和D是由A的特征向量和特征值形成的矩阵。 由于D是对角线，D 的 t 次幂$D^t$只是涉及将对角线上的每个元素的 t 次幂 。 这与 A 的 t的次幂相比 ，更容易实现和理解，因为A通常不是对角线。

这里就直接点出了一个特征分解的应用场景。解线性方程常微分方程或线性差分方程组。

1.15奇异值分解

• 适用于： m x n 矩阵A
• 分解：$A=U\sum V^{\ast }$，U和V都是酉矩阵/幺正矩阵，也就是满足$U^{\ast }U=V^{\ast }V=I$，$\sum$是对角阵，对角上的元素称为A的奇异值，U和V并不一定是唯一的。
  

2.EVD矩阵

矩阵分解模型在推荐系统中有非常不错的表现，相对于传统的协同过滤方法，它不仅能通过降维增加模型的泛化能力，也方便加入其他因素（如数据偏差、时间、隐反馈等）对问题建模，从而产生更佳的推荐结果。

先来说说矩阵分解几个明显的特点，它具有协同过滤的 “集体智慧”，隐语义的 “深层关系”，以及机器学习的 “以目标为导向的有监督学习”。在了解了基于邻域的协同过滤算法后，集体智慧自不必多说，我们依次从 “隐因子” 和 “有监督学习” 的角度来了解矩阵分解的基本思路。

基于矩阵分解的推荐算法的核心假设是用隐语义（隐变量）来表达用户和物品，他们的乘积关系就成为了原始的元素。这种假设之所以成立，是因为我们认为实际的交互数据是由一系列的隐变量的影响下产生的（通常隐变量带有统计分布的假设，就是隐变量之间，或者隐变量和显式变量之间的关系，我们往往认为是由某种分布产生的。），这些隐变量代表了用户和物品一部分共有的特征，在物品身上表现为属性特征，在用户身上表现为偏好特征，只不过这些因子并不具有实际意义，也不一定具有非常好的可解释性，每一个维度也没有确定的标签名字，所以才会叫做 “隐变量”。而矩阵分解后得到的两个包含隐变量的小矩阵，一个代表用户的隐含特征，一个代表物品的隐含特征，矩阵的元素值代表着相应用户或物品对各项隐因子的符合程度，有正面的也有负面的。

随着人们的不断探索和研究，衍生出了矩阵分解的一系列算法，接下来的时间，分别讲讲矩阵分解的几种方法。

2.1为什么要做SVD?

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的K个的奇异值和对应的左右奇异向量来近似描述矩阵。其中K要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵来表示。数学之美中有说，会减少很大的存储资源。

K怎么确定？
多启发式的算法，当然，最直接的是直接用肉眼观察。除此之外，一个典型做法是保留矩阵中90%的能量信息。具体来讲，我们可以对奇异值求平方和。于是可以对奇异值的平方和累加直至总和的90%为止。

2.2特征值分解EVD

在讨论SVD之前先讨论矩阵的特征值分解（EVD）(eigenvalue decomposition)，对称阵有一个很优美的性质：它总能相似对角化，对称阵特征值对应的特征向量两两正交。
$$A=V\ast D\ast V^T$$

其中A的对称矩阵，D是对角矩阵，对角元素是A的特征值(几何意义：变换时的缩放)，V的列是A的特征向量(几何意义：特征向量经过矩阵A的变换，只进行缩放(特征值的大小)，不改变其方向)，特征向量两两正交，可以理解为一个高维的空间。

我们看看上面的公式怎么得来的：

设特征值为$\lambda$，单位特征向量为x，那么所有的特征值和单位特征向量有：$Av=\lambda v$

λ为特征值（标量），v为特征值 λ对应的特征向量。特征向量被施以线性变换 A 只会使向量伸长或缩短，而方向保持不变

2.3普通矩阵的矩阵分解

我们在学线性代数的时候，都会学到怎么求解特征值和特征向量。通常把|A-λI|=0，这个式子也称为特征方程。

• 令p(λ):=|A-λI|称为矩阵的特征多项式
• 特征多项式是关于 的N次多项式，特征方程有N个解
• 对多项式$p(\lambda )$进行因式分解，可得$$p(\lambda )=(\lambda -{\lambda }_1{)}^{n_1}(\lambda -{\lambda }_2{)}^{n_2}...(\lambda -{\lambda }_k{)}^{n_k}=0$$，其中${\sum }_{i=1}^k{n}_i=N$，而对于每一个特征值${\lambda }_i$，都可以使得$(A-{\lambda }_{i}I)v=0$

1. 计算矩阵A的特征值和特征向量：
   $$A=\left[\begin{array}{ccc}4& 2& -5\\ 6& 4& -9\\ 5& 3& -7\end{array}\right]$$
2. 求解特征方程$$|\lambda I-A|=\left[\begin{array}{ccc}\lambda -4& -2& 5\\ -6& \lambda -4& 9\\ -5& -3& \lambda +7\end{array}\right]=0$$
   $p(\lambda ):=|\lambda I-A|={\lambda }^2\ast (\lambda -1)$，${\lambda }^2\ast (\lambda -1)=0$求解得${\lambda }_1=1$，${\lambda }_2={\lambda }_3=0$

当${\lambda }_1=1$，$|{\lambda }_{1}I-A|=\left[\begin{array}{ccc}-3& -2& 5\\ -6& -3& 9\\ -5& -3& 8\end{array}\right]$

简化得到$$\left[\begin{array}{ccc}1& 0& -1\\ 0& 1& -1\\ 0& 0& 0\end{array}\right]$$

所以$(E-A)x=\left[\begin{array}{ccc}1& 0& -1\\ 0& 1& -1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=0$

即$f(x)=\{\begin{array}{l}{x}_1-x_3=0\\ x_2-x_3=0\end{array}$，令$x_1=1$，得到特征矩阵${\zeta }_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$

同理，当${\lambda }_2={\lambda }_3=0$，计算可得特征矩阵${\zeta }_2={\zeta }_3=\left[\begin{array}{c}1\\ 3\\ 2\end{array}\right]$

A是MxN维的方阵，对矩阵A进行特征分解：$A=U\Sigma U^{-1}$

• $U$是列向量是A的特征向量
• $\Sigma$是对角矩阵，元素是特征向量的特征值
  
  特征值5.64575131对应的特征向量为[0.97760877 0.21043072]
  特征值0.35424869对应的特征向量为[-0.54247681 0.84007078]
  结论：特征向量之间一定线性无关

如果A 是对称方阵，那么$$\begin{gathered} U^T=u^{-1} \\ A=U\Sigma U^T \end{gathered}$$

• $U$是列向量是A的特征向量
• $\Sigma$是对角矩阵，元素是特征向量的特征值
  
  特征值5.23606798对应的特征向量为[0.97324899 0.22975292]
  特征值0.76393202对应的特征向量为[-0.22975292 0.97324899]
  结论：不仅线性无关，而且还正交，即
  0.97324899*-0.22975292+0.22975292*0.97324899=0

2.4用numpy计算特征值和特征向量

import numpy as np
A = np.array([[5,3],
	        [1,1]])
lamda, U = np.linalg.eig(A)
print('矩阵A: ')
print(A)
print('特征值: ',lamda)
print('特征向量')
print(U)

3.奇异值分解（SVD）原理详解

3.1正交变换

正交变换公式：
$$X=UY$$

上式表示：X是Y的正交变换，其中U是正交矩阵，X和Y为列向量。下面用一个例子说明正交变换的含义：
假设有两个单位列向量a和b，两向量的夹角为θ，如下图所示：

现对向量a，b进行正交变换：
$$\begin{gathered} \vec{a}=U\ast \vec{a} \\ \vec{b}=U\ast \vec{b} \end{gathered}$$

$\vec{a},\vec{b}$的模：
$$\begin{gathered} ||\vec{a}||=||U\ast \vec{a}||=||U||\ast ||\vec{a}||=||\vec{a}||=1 \\ ||\vec{b}||=||U\ast \vec{b}||=||U||\ast ||\vec{b}||=||\vec{b}||=1 \end{gathered}$$
有上式可知$\vec{a},\vec{b}$的模都为1。
$\vec{a}和\vec{b}$的內积：
$$\begin{gathered} {\vec{a}}^T\ast \vec{b}=(U\ast \vec{a}{)}^T\ast (U\ast \vec{b})={\vec{a}}^T{U}^{T}U\vec{b} \\ \Rightarrow {\vec{a}}^T\ast \vec{b}={\vec{a}}^T\ast \vec{b}（1） \end{gathered}$$
由上式可知，正交变换前后的內积相等。
$\vec{a}和\vec{b}$的夹角${\theta }^{{}^{\prime }}$：
$$\begin{gathered} cos{\theta }^{{}^{\prime }}=\frac{{\vec{a}}^T\ast \vec{b}}{||\vec{a}||\ast ||\vec{b}||}（2） \\ cos\theta =\frac{{\vec{a}}^T\ast \vec{b}}{||\vec{a}||\ast ||\vec{b}||}（3） \end{gathered}$$
比较（2）式和（3）式可得：正交变换前后的夹角相等，即$\theta ={\theta }^{{}^{\prime }}$。因此，正交变换的性质可用下图来表示：

正交变换的两个重要性质：

1. 正交变换不改变向量的模；
2. 正交变换不改变向量的夹角；

如果向量$\vec{a}和\vec{b}$是基向量，那么正交变换的结果如下图所示：

上图可以得到重要结论：$基向量正交变换后的结果仍是基向量$。基向量是表示向量最简洁的办法，向量在基向量的投影就是基向量的坐标，我们通过这种思想去理解特征值分解和推导SVD分解。

3.2特征值分解的含义

对称方阵A的特征值分解为：
$$A=U\Sigma U^{-1}（2.1）$$

其中U是正交矩阵，$\Sigma$是对角矩阵。
为了可视化特征值分解，假设A是2x2的对称矩阵，$U=(u1,u2)$，$\Sigma =(\lambda 1,\lambda 2)$。（2.1）式展开为：
$$\begin{gathered} A{u}_1={\lambda }_1{u}_1 \\ A{u}_2={\lambda }_2{u}_2 \end{gathered}$$
用图形表示为：

$$\begin{gathered} 由上图可知，矩阵A没有旋转特征向量，它只是对特征向量进行了拉伸或 \\ 缩短（取决于特征值的大小），因此，对称矩阵对其特征向量（基向量）的变换 \\ 仍然是基向量（单位化） \end{gathered}$$。

特征向量和特征值的几何意义：若向量经过矩阵变换后保持方向不变，只是进行长度上的伸缩，那么该向量是矩阵的特征向量，伸缩倍数是特征值。

3.3SVD分解推导

我们考虑了当基向量是对称矩阵的特征向量时，矩阵变换后仍是基向量，$但是，我们在实际项目中遇到的大都是行和列不相等的矩阵$，如统计每个学生的科目乘积，行数为学生个数，列数为科目数，这种形成的矩阵很难是方阵，$因此SVD分解是更普遍的矩阵分解方法$ 。

先回顾一下正交变换的思想来推导SVD分解：假设A是M*N的矩阵，秩为K，Rank(A)=k。

存在一组正交基V：
$V=(v_1,v_2,...,v_k)$
矩阵对其变换后仍是正交基，记为U：
$U=(A{v}_1,A{v}_2,...,A{v}_k)$
由正交基定义，得：
$(A{v}_i{)}^T(A{v}_i)=0（3.1）$

上式展开：
$v_i^T{A}^T{v}_j=0（3.2）$
当v_t是A^TA的特征向量时，有：
$$(A^{T}A)v_i=\lambda v_i$$
所以，（3.2）式得：
$$\lambda v_i^T{v}_j=0$$
即假设成立。

图形表示如下：

正交向量的模：
$$\begin{gathered} ||A{v}_i|{|}^2=(A{v}_i{)}^T\ast (A{v}_i) \\ \Rightarrow ||A{v}_i|{|}^2=v_i^T\ast A^{T}Av \\ \Rightarrow ||A{v}_i|{|}^2={\lambda }_i{v}_i^{T}v={\lambda }_i \\ \therefore ||A{v}_i||=\sqrt{{\lambda }_i} \end{gathered}$$
单位化正交向量，得到：
$$\begin{gathered} u_i=\frac{A{v}_i}{||A{v}_i||}=\frac{1}{\sqrt{{\lambda }_i}}=A{v}_i \\ \Rightarrow A{v}_i=\sqrt{{\lambda }_i}\ast u_i（3.3） \end{gathered}$$
用矩阵的形式表示（3.3）式：
$$AV=U\Sigma （3.4）$$

V是NK矩阵，U是MK矩阵，$\sum$是MK的矩阵，需要扩展成方阵形式：
将正交基$U=(u_1,u_2,...,u_k)$扩展$(u_1,u_2,...,u_m)R^m$空间的正交基，即U是MM方阵。将正交基$V=（v_1,v_2,...,v_k）$扩展成$(v_1,v_2,...,v_n)R^n$空间的正交基，其中$(v_{k+1},v_{k+2},...,v_n)$是矩阵A的零空间，即：
$$A{v}_i=0，i>k$$

对应的特征值${\sigma }_i=0$，$\Sigma$是MN对角矩阵，V是NN方阵，因此（3.4）式写成向量形式为：

得出：
$$AV=U\Sigma$$
两式右乘$V^T$，可得矩阵的奇异值分解：
$$A=U\Sigma V^T（3.5）$$
（3.5）式写成向量形式：

令

则：$A=XY$
因为X和Y分别是列满秩和行满秩，所以上式是A的满秩分解。

（3.5）式的奇异矩阵$\sum$的值$\sigma$是$A^{T}A$特征值的平方根，下面推导奇异值分解的U和V：
$$\begin{array}{lcl}{A}^{T}A& =& (U\Sigma V^T{)}^T(U\Sigma V^T)\\ & =& V\Sigma U^T\ast V\Sigma U^T\\ & =& U{\Sigma }^2{U}^T\end{array}$$
即U是$A{A}^T$的特征向量构成的矩阵，称为左奇异矩阵。

3.4奇异值分解的原理小结

矩阵A的奇异值分解是$A=U\Sigma V^T$,其中U是$A{A}^T$的特征向量构成的矩阵，V是$A{A}^T$的特征向量构成的矩阵，奇异值矩阵$\Sigma$的值是$A^{T}A$特征值的平方根。

3.5奇异值分解的例子

接下来我们用一个简单的例子来说明矩阵是如何进行奇异值分解的。矩阵A定义为：$\left(\begin{array}{cc}1& 1\\ 1& 1\\ 1& 0\end{array}\right)$

首先求出$A^{T}A和A{A}^T$：
$$A^{T}A=\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$
$$A{A}^T=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right)$$
接下来，求$A{A}^T$的特征向量V和特征值$\lambda$：
$$\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$，对应的特征值：${\lambda }_1=3,{\lambda }_2=1$
奇异值是特征值的平方根：${\sigma }_1=3,{\sigma }_2=1$
再求$A{A}^T$的特征向量U：
$$U=\left(\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right)$$
最后得到A矩阵的奇异值分解：
$$A=U\Sigma V^T\left(\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right)\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

3.6行降维和列降维

通过上面的简单例子，相信大家已经比较了解SVD的求解过程，可能也会有人问过你，SVD这个高大上的东西，有没有更加通俗易懂的理解。本小节站在协方差的角度去理解行降维和列降维，我们先来探讨协方差的含义。协方差里面又分为单变量和多变量的向量之间的计算。

1. 单个变量用方差描述，无偏方差公式：
   $$D(x)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2$$

n是样本数，$\overline{x}=\frac{1}{n}{\sum }_{i=1}^{n}x$

2. 两个变量用协方差描述，协方差公式：
   $$cov(x,y)=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{(}y))$$
3. 多个变量（如三个变量）之间的关系可以用协方差矩阵描述：
   $$cov(x,y,z)=\left(\begin{array}{ccc}cov(x,x)& cov(x,y)& cov(x,z)\\ cov(y,y)& cov(y,x)& cov(y,z)\\ cov(z,x)& cov(z,y)& cov(z,z)\end{array}\right)$$
   相关系数公式：
   $$\rho =\frac{cov(x,y)}{\sqrt{D(x)}\sqrt{D(y)}}$$

由上式可知，$协方差是描述变量间的相关关系程度$：
1）协方差cov(x,y) > 0时，变量x与y正相关；

2）协方差cov(x,y)<0时，变量x与y负相关；

3）协方差cov(x,y)=0时，变量x与y不相关；

变量与协方差关系的定性分析图：

现在开始谈论$A^{T}A和A{A}^T$的含义：假设数据集是n维的，共有m个数据，每一行表示一例数据，即：
$$A=\left(\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ...\\ (x^{(m)}{)}^T\end{array}\right)$$

$x^{(i)}$表示第i个样本，$x_j$表示第j维特征，$x_j^{(i)}$表示第i个样本的第j维特征

$$\begin{gathered} A^{T}A=(x^{(1)},x^{(2)},...,x^{(m)})\left(\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ...\\ (x^{(m)}{)}^T\end{array}\right)=x^{(1)}(x^{(1)}{)}^T+x^{(2)}(x^{(2)}{)}^T+...+x^{(m)}(x^{(m)}{)}^T \\ \Rightarrow A^{T}A=\left(\begin{array}{ccc}cov(x_1,x_1)& cov(x_1,x_2)& cov(x_1,x_n)\\ cov(x_2,x_1)& cov(x_2,x_2)& cov(x_2,x_n)\\ cov(x_n,x_1)& cov(x_n,x_2)& cov(x_n,x_n)\end{array}\right) \end{gathered}$$
由上式可知，$A^{T}A$是描述各个特征间关系的矩阵，所以$A^{T}A$的正交基V是以数据集的特征空间进行展开的。

数据集A在特征空间展开为：
$$X_{M\ast N}=A_{M\ast N}{V}_{N\ast N}（4.1）$$

之前我们说过，特征值表示了$A^{T}A$在相应特征向量的信息分量。特征值越大，包含矩阵$A^{T}A$的信息分量越大。

若我们选择前r个特征值来表示原始数据集，数据集A在特征空间展开为：
$$X_{M\ast r}^{\prime }=A_{M\ast N}{V}_{N\ast r}（4.2）$$
$（4.2）式对列进行了降维，即右奇异矩阵V可以用于列数的压缩，与PCA降维算法一致。$

行降维：
$$A{A}^T=\left(\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ...\\ (x^{(m)}{)}^T\end{array}\right)(x^{(1)},x^{(2)},...,x^{(m)})=\left(\begin{array}{ccc}(x^{(1)}{)}^T{x}^{(1)}& (x^{(1)}{)}^T{x}^{(2)}& (x^{(1)}{)}^T{x}^{(m)}\\ (x^{(2)}{)}^T{x}^{(1)}& (x^{(2)}{)}^T{x}^{(2)}& (x^{(2)}{)}^T{x}^{(m)}\\ (x^{(m)}{)}^T{x}^{(1)}& (x^{(m)}{)}^T{x}^{(2)}& (x^{(m)}{)}^T{x}^{(m)}\end{array}\right)\Rightarrow A{A}^T=\left(\begin{array}{ccc}cov(x_1,x_1)& cov(x_1,x_2)& cov(x_1,x_n)\\ cov(x_2,x_1)& cov(x_2,x_2)& cov(x_2,x_n)\\ cov(x_n,x_1)& cov(x_n,x_2)& cov(x_n,x_n)\end{array}\right)$$

由上式可知：$A{A}^T$是描述样本数据间相关关系的矩阵，因此，左奇异矩阵U是以样本空间进行展开，原理与列降维一致。

若我们选择前r个特征值来表示原始数据集，数据集A在样本空间展开为：
$$Y_{r\ast N}=U_{r\ast M}{A}_{M\ast N}$$
因此，上式实现了行降维，即左奇异矩阵可以用于行数的压缩 。

3.7SVD矩阵分解的应用场景

推荐系统中，我们会面临很多场景，其中有一个问题就是存进数据矩阵是稀疏的，因为用户的很多喜好我们还没有弄明白，留下了很多空白。SVD矩阵分解主要的应用场景就是做数据压缩，比如，图像压缩。为了解决这个问题，我们来看两个数据压缩的方法。

本节介绍两种数据压缩方法：满秩分解和近似分解
矩阵A的秩为k，A的满秩分解：
$A_{M\ast N}=X_{M\ast K}{Y}_{K\ast N}$

满秩分解图形如下：

由上图可知，存储X和Y的矩阵比存储A矩阵占用的空间小，因此满秩分解起到了数据压缩作用。

若对数据再次进行压缩，需要用到矩阵的近似分解。

矩阵A的奇异值分解：
$A_{M\ast N}=U_{M\ast M}{V}_{M\ast N}{V}_{N\ast N}^T$

$A_{M\ast N}\simeq U_{M\ast r}{V}_{r\ast N}^T$

如下图：

我们用灰色部分的三个小矩阵近似表示矩阵A，存储空间大大的降低了。

3.8 SVD总结

任何矩阵都能进行SVD分解，SVD可以用于行降维和列降维，SVD在数据压缩、推荐系统和语义分析有广泛的应用，SVD与PCA的缺点一样，分解出的矩阵解释性不强 。

4.funkSVD, BiasSVD，SVD++算法

4.1原始SVD

对于任意$m\times n$矩阵A ，通过奇异值分解，有严格等式
$$A=P\Sigma Q^T$$

其中，P 和Q是方阵，$\Sigma$是对角矩阵。

进一步的，P的列向量是$m\times m$方阵$A{A}^T$的特征向量；Q的列向量是$n\times n$方阵$A^{T}A$的特征向量；$m\times n$矩阵$\Sigma$的对角元素是A的特征值。

通过上面的奇异值分解，我们可以将用户-评分矩阵R RR分解为三个矩阵的乘积。

虽然SVD能够将评分矩阵R RR分解，但是存在以下问题

• 原始SVD过程要求评分矩阵R RR是稠密的，但是通常评分矩阵是很稀疏的，这就无法做SVD
• 可以通过填充来让评分矩阵稠密，但是，无论如何填充，都会引入噪音

4.1.1Surprise工具中的SVD

n_factors: k值，默认为100
n_epochs：迭代次数，默认为20
biased：是否使用biasSVD，默认为True
verbose:输出当前epoch，默认为False
reg_all:所有正则化项的统一参数，默认为0.02
reg_bu：bu的正则化参数，reg_bi：bi的正则化参数
reg_pu：pu的正则化参数，reg_qi：qi的正则化参数

4.2FunkSVD

用户-评分矩阵R RR通常是很稀疏的，原始SVD无法使用，因此，我们提出一个近似的矩阵分解算法，FunkSVD。

与MF类似，对于$m\times n$评分矩阵R，我们假设由两个矩阵$P_{k\times m}$和$Q_{k\times n}$的乘积近似得到，这就意味着下式的成立
$$R\approx P^{T}Q$$

对于上面的式子，我们可以这样理解

• 评分矩阵$R$是$m\times n$的，这就是说，有$m$个用户和$n$个商品，每个用户不可能使用所有商品，因此仅仅能对其中少量的商品进行打分，这也就是评分矩阵稀疏的原因
• $P$是$k\times m$维的，这就是说，我们可以把第$i$列向量当做用户$i$的特征$p_i$，这个特征$p_i$是$k$维的。
• $Q$是$k\times n$维的，这就是说，我们可以把第$j$列向量当做用户$j$的特征$q_j$，这个特征$q_j$是$k$维的。

知道了FunkSVD的原理，我们来讲一个比较通俗的例子：

1. 我们有100个用户和1000部电影，用户对看过的电影打分，从而形成用户-商品评分矩阵$R_{100\times 100}$;
2. 现在，为了更好的区分不同用户和电影，我们给出3种特征$（k=3）$，分别为 动作，爱情，悬疑；
3. 第1个用户的特征$p_1=[0.8,0.2,0.1{]}^T$，意思就是这个用户更加偏爱动作，第2部电影的特征$q_2=[0.3,0.2,0.6{]}^T$，意思是这个电影更加偏向于悬疑；
4. 那么，第一个用户看完第二部电影之后的评分，我们预测为$p_1^T\ast q2==0.34$，这就是一个综合的喜爱程度

我们想得到这样的$P$和$Q$，并使得$P^{T}Q$尽量接近R。注意，$R$中仅有少量位置存在值，我们求的$P^{T}Q$就是尽量接近这些值。

假设$R$中非空位置集合为$K$，我们有如下最优化问题
$$mi{n}_{P,Q}L=\frac{1}{2}\sum _{(i,j)\in K}(R_{i,j}-P_i^T{q}_j{)}^2+\frac{\lambda }{2}(\sum _{i=1}^m|p_i{|}^2+\sum _{j=1}^m|q_j{|}^2)$$
直接对损失函数求导，我们有
$$\begin{array}{lcl}\frac{\partial L}{\partial p_i}& =& {\sum }_j(p_i^T{q}_j-R_{i,j})q_j+\lambda p_i\\ & =& ({\sum }_j{q}_j{q}_j^T+\lambda I)p_i-{\sum }_j{R}_{i,j}{q}_j\end{array}$$
和$$\begin{array}{lcl}\frac{\partial L}{\partial q_j}& =& {\sum }_i(p_i^T{q}_j-R_{i,j})p_i+\lambda q_j\\ & =& ({\sum }_i{p}_i{p}_i^T+\lambda I)q_j-{\sum }_i{R}_{i,j}{p}_i\end{array}$$

因此，更新策略就是：
$$\begin{gathered} p_i\leftarrow p_i-\alpha \frac{\partial L}{\partial p_i} \\ {q}_j\leftarrow q_j-\alpha \frac{\partial L}{\partial q_j} \end{gathered}$$

$\alpha 是学习率$
通过以上迭代更新，可以得到$P$和$Q$，从而得到近似的评分矩阵$P^{T}Q$，从而补全评分矩阵。

4.2.1Surprise工具中的FunkSVD

n_factors: k值，默认为100
n_epochs：迭代次数，默认为20
biased：是否使用biasSVD，设置为True
verbose:输出当前epoch，默认为False
reg_all:所有正则化项的统一参数，默认为0.02
reg_bu：bu的正则化参数，reg_bi：bi的正则化参数
reg_pu：pu的正则化参数，reg_qi：qi的正则化参数

4.3BiasSVD

在FunkSVD的基础上，我们进一步考虑用户偏好和商品偏好。

比如，对于某些用户而言，他们打分一向比较高，而对于较为苛刻的用户，他们打分又偏低；对于某些高质量商品而言，给它们的评分一般偏高，比如泰坦尼克电影评分4.9，可能这部电影没有那么好，被高估了。

基于以上观察，我们有，不同用户有自己的打分习惯，或者偏高或者偏低；不同电影也有自己的分数倾向，或者倾向于低分或者倾向于高分。我们需要在模型中加以体现。

令$\mu$为评分的平均值，$b_i$为用户$i$的偏好带来的评分偏置，$b_j$为商品$j$的质量带来的评分偏置。这样，用户$i$对商品$j$的评分可以写为
$$\mu +b_i+b_j+p_i^T{q}_j$$

因此，我们的目标函数可以写为
$$mi{n}_{P,Q,b_i,b_j}L=\frac{1}{2}\sum _{(i,j)\in K}(R_{i,j}-\mu -b_i-b_j-p_i^T{q}_j{)}^2+\frac{\lambda }{2}(\sum _{i=1}^m|b_i{|}^2+\sum _{j=1}^n|b_j{|}^2+\sum _{i=1}^m|p_i{|}^2+\sum _{i=1}^m|q_j{|}^2)$$

4.3.1Surprise工具中的BiasSVD

n_factors: k值，默认为100
n_epochs：迭代次数，默认为20
biased：是否使用biasSVD，设置为False
verbose:输出当前epoch，默认为False
reg_all:所有正则化项的统一参数，默认为0.02
reg_bu：bu的正则化参数，reg_bi：bi的正则化参数
reg_pu：pu的正则化参数，reg_qi：qi的正则化参数

4.4SVD++

在BiasSVD的基础上，我们进一步考虑用户隐式反馈的影响。

用户除了对商品有评分这一显式反馈之外，还有诸如浏览、点击等隐式反馈。一个用户可能对许多商品有隐式反馈，我们将用户$i$有过隐式反馈的商品集合记为$N(i)$，每一次对于特定商品$s\in N(i)$的点击或者浏览，都带来对于用户特征$p_i$的某些偏置$y_s$。

这样，对于用户$i$，最终他的特征$p_i$可以写为
$$p_i+\sum _{s\in N(i)}{y}_s$$
因此，用户$i$对商品$j$的评分可以写为
$$\mu +b_i+b_j+q_j^T(p_i+\sum _{s\in N(i)}{y}_s)$$

这样， 我们的目标函数可以写为
$$mi{n}_{P,Q,b_i,b_j,y_s}L=\frac{1}{2}\sum _{(i,j)\in K}(R_{i,j}-\mu -b_i-b_j-q_j^T(p_i+\sum _{s\in N(i)}{y}_s){)}^2+\frac{\lambda }{2}(\sum _{i=1}^m|b_i{|}^2+\sum _{j=1}^n|b_j{|}^2+\sum _{i=1}^m|p_i{|}^2+\sum _{i=1}^m|q_j{|}^2+\sum _{i=1}^m\sum _{s\in N(i)}|y_s{|}^2)$$
同样用梯度下降方法，我们可以对变量进行迭代。

4.4.1Surprise工具中的SVD++

n_factors: k值，默认为20
n_epochs：迭代次数，默认为20
verbose:输出当前epoch，默认为False
reg_all:所有正则化项的统一参数，默认为0.02
reg_bu：bu的正则化参数，reg_bi：bi的正则化参数
reg_pu：pu的正则化参数，reg_qi：qi的正则化参数
reg_yj：yj的正则化参数

4.5funkSVD, BiasSVD，SVD++算法图像在上的应用

import os
import numpy as np
from scipy.linalg import svd
from PIL import Image
import matplotlib.pyplot as plt

# 奇异值数量为原有的1%，10%，50%的图片名称
imgType = ['1%', '10%', '50%']

# 保存图片的路径
PROJECT_ROOT_DIR = "."
IMAGES_PATH = os.path.join(PROJECT_ROOT_DIR, "img")

def save_fig(fig_id, tight_layout=True, fig_extension="png", resolution=300):
	path = os.path.join(IMAGES_PATH, fig_id + "." + fig_extension)
	print("Saving figure", fig_id)
	if tight_layout:
		plt.tight_layout()
	plt.axis('off')
	plt.savefig(path, format=fig_extension, dpi=resolution,  bbox_inches = 'tight')


# 取前k个特征，对图像进行还原
def get_image_feature(s, k, id):
	# 对于S，只保留前K个特征值
	s_temp = np.zeros(s.shape[0])
	s_temp[0:k] = s[0:k]
	s = s_temp * np.identity(s.shape[0])
	# 用新的s_temp，以及p,q重构A
	temp = np.dot(p,s)
	temp = np.dot(temp,q)
	plt.imshow(temp, cmap=plt.cm.gray, interpolation='nearest')
	save_fig(id)


# 加载256色图片
image = Image.open('./256.bmp') 
A = np.array(image)
# 显示原图像
plt.imshow(A, cmap=plt.cm.gray, interpolation='nearest')
plt.show()
# 对图像矩阵A进行奇异值分解，得到p,s,q
p,s,q = svd(A, full_matrices=False)
# 取前k个特征，对图像进行还原
# 奇异值数量为原有的1%，10%，50%
get_image_feature(s, int(6.168980563268544), imgType[0])
get_image_feature(s, int(61.68980563268544), imgType[1])
get_image_feature(s, int(308.4490281634272), imgType[2])
# 输出结果
'''
Saving figure 1%
Saving figure 10%
Saving figure 50%
'''

$$图1-奇异值数量为原有的0.01的图像$$

$$图2-奇异值数量为原有的0.1的图像$$

$$图3-奇异值数量为原有的0.5的图像$$

5.推荐系统中的NLP

我觉得NLP之与推荐，相当于零件和汽车的关系。NLP所做的其实很单纯，效果也相对好验证：比如说文本的情感识别，输入是文本序列，输出是对应的情感，是有准确的评价指标的。NLP的产出常常是推荐系统的输入，一个推荐系统可能从原始数据中接受一系列的特征输入，除了基础的一些诸如时间、是否有图片等属性之外，NLP的产出可以作为特征：是否积极、是否反动、是否涉黄等等，供推荐模型使用。

上述情境中NLP只是作为业务的辅助者，推荐系统中NLP是其中一个场景。而在智能对话、机器翻译等系统中NLP则是骨架

推荐系统的衡量一般是用ctr作为指标，但是实际场景中衡量一个推荐是否好非常困难：对一个重度体育用户，有的用户喜欢追某个球星而反复看与该球星有关的文章，而有的用户就比较“雨露均沾”；用户的兴趣不是一成不变的，而是会随着时间而变化；标题党可以增加用户的点击量，但是会影响用户的实际体验。所以，相比较NLP，我认为推荐是一个相当“业务”的场景。需要反复跟踪线上的效果，不断地做维护和更新，而且可能出现线下指标升了但是线上指标降了（这就很难受了）。

5.1什么是 Word2vec?

在聊 Word2vec 之前，先聊聊 NLP (自然语言处理)。NLP 里面，最细粒度的是 词语，词语组成句子，句子再组成段落、篇章、文档。所以处理 NLP 的问题，首先就要拿词语开刀。

举个简单例子，判断一个词的词性，是动词还是名词。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词语，y 是它们的词性，我们要构建 f(x)->y 的映射，但这里的数学模型 f（比如神经网络、SVM）只接受数值型输入，而 NLP 里的词语，是人类的抽象总结，是符号形式的（比如中文、英文、拉丁文等等），所以需要把他们转换成数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入（word embedding)，而 Word2vec，就是词嵌入（ word embedding) 的一种

我在前作『都是套路: 从上帝视角看透时间序列和数据挖掘』提到，大部分的有监督机器学习模型，都可以归结为：

f(x)->y

在 NLP 中，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的『语言模型』（language model），这个模型的目的，就是判断 (x,y) 这个样本，是否符合自然语言的法则，更通俗点说就是：词语x和词语y放在一起，是不是人话。

Word2vec 正是来源于这个思想，但它的最终目的，不是要把 f 训练得多么完美，而是只关心模型训练完后的副产物——模型参数（这里特指神经网络的权重），并将这些参数，作为输入 x 的某种向量化的表示，这个向量便叫做——词向量（这里看不懂没关系，下一节我们详细剖析）。

我们来看个例子，如何用 Word2vec 寻找相似词：

• 对于一句话：『她们 夸 吴彦祖 帅 到 没朋友』，如果输入 x 是『吴彦祖』，那么 y 可以是『她们』、『夸』、『帅』、『没朋友』这些词
• 现有另一句话：『她们 夸 我 帅 到 没朋友』，如果输入 x 是『我』，那么不难发现，这里的上下文 y 跟上面一句话一样
• 从而 f(吴彦祖) = f(我) = y，所以大数据告诉我们：我 = 吴彦祖（完美的结论）

5.2Skip-gram 和 CBOW 模型

上面我们提到了语言模型

• 如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做『Skip-gram 模型』
• 而如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 『CBOW 模型』

5.2.1 Skip-gram 和 CBOW 的简单情形

我们先来看个最简单的例子。上面说到， y 是 x 的上下文，所以 y 只取上下文里一个词语的时候，语言模型就变成：

用当前词 x 预测它的下一个词 y

但如上面所说，一般的数学模型只接受数值型输入，这里的 x 该怎么表示呢？ 显然不能用 Word2vec，因为这是我们训练完模型的产物，现在我们想要的是 x 的一个原始输入形式。

答案是：one-hot encoder。

所谓 one-hot encoder，其思想跟特征工程里处理类别变量的 one-hot 一样。本质上是用一个只含一个 1、其他都是 0 的向量来唯一表示词语。

我举个例子，假设全世界所有的词语总共有 V 个，这 V 个词语有自己的先后顺序，假设『吴彦祖』这个词是第1个词，『我』这个单词是第2个词，那么『吴彦祖』就可以表示为一个 V 维全零向量、把第1个位置的0变成1，而『我』同样表示为 V 维全零向量、把第2个位置的0变成1。这样，每个词语都可以找到属于自己的唯一表示。

OK，那我们接下来就可以看看 Skip-gram 的网络结构了，x 就是上面提到的 one-hot encoder 形式的输入，y 是在这 V 个词上输出的概率，我们希望跟真实的 y 的 one-hot encoder 一样。

首先说明一点：隐层的激活函数其实是线性的，相当于没做任何处理（这也是 Word2vec 简化之前语言模型的独到之处），我们要训练这个神经网络，用反向传播算法，本质上是链式求导，在此不展开说明了，

当模型训练完后，最后得到的其实是神经网络的权重，比如现在输入一个 x 的 one-hot encoder: [1,0,0,…,0]，对应刚说的那个词语『吴彦祖』，则在输入层到隐含层的权重里，只有对应 1 这个位置的权重被激活，这些权重的个数，跟隐含层节点数是一致的，从而这些权重组成一个向量 vx 来表示x，而因为每个词语的 one-hot encoder 里面 1 的位置是不同的，所以，这个向量 vx 就可以用来唯一表示 x。

注意：$上面这段话说的就是Word2vec的精髓！！$

此外，我们刚说了，输出 y 也是用 V 个节点表示的，对应V个词语，所以其实，我们把输出节点置成 [1,0,0,…,0]，它也能表示『吴彦祖』这个单词，但是激活的是隐含层到输出层的权重，这些权重的个数，跟隐含层一样，也可以组成一个向量 vy，跟上面提到的 vx 维度一样，并且可以看做是词语『吴彦祖』的另一种词向量。而这两种词向量 vx 和 vy，正是 Mikolov 在论文里所提到的，『输入向量』和『输出向量』，一般我们用『输入向量』。

需要提到一点的是，这个词向量的维度（与隐含层节点数一致）一般情况下要远远小于词语总数 V 的大小，所以 Word2vec 本质上是一种降维操作——把词语从 one-hot encoder 形式的表示降维到 Word2vec 形式的表示。

5.2.2Skip-gram更一般的情形

上面讨论的是最简单情形，即 y 只有一个词，当 y 有多个词时，网络结构如下：

可以看成是 单个x->单个y 模型的并联，cost function 是单个 cost function 的累加（取log之后）

如果你想深入探究这些模型是如何并联、 cost function 的形式怎样，不妨仔细阅读参考资料4. 在此我们不展开。

5.2.3CBOW更一般的情形

跟 Skip-gram 相似，只不过:

Skip-gram 是预测一个词的上下文，而 CBOW 是用上下文预测这个词

网络结构如下

更 Skip-gram 的模型并联不同，这里是输入变成了多个单词，所以要对输入处理下（一般是求和然后平均），输出的 cost function 不变，在此依然不展开，建议你阅读参考资料4.

5.3Word2vec的训练trick

相信很多初次踩坑的同学，会跟我一样陷入 Mikolov 那篇论文（参考资料1.）里提到的 hierarchical softmax 和 negative sampling 里不能自拔，但其实，它们并不是 Word2vec 的精髓，只是它的训练技巧，但也不是它独有的训练技巧。 Hierarchical softmax 只是 softmax 的一种近似形式（详见参考资料7.），而 negative sampling 也是从其他方法借鉴而来。

为什么要用训练技巧呢？ 如我们刚提到的，Word2vec 本质上是一个语言模型，它的输出节点数是 V 个，对应了 V 个词语，本质上是一个多分类问题，但实际当中，词语的个数非常非常多，会给计算造成很大困难，所以需要用技巧来加速训练。

这里我总结了一下这两个 trick 的本质，有助于大家更好地理解，在此也不做过多展开，有兴趣的同学可以深入阅读参考资料1.~7.

• hierarchical softmax

本质是把 N 分类问题变成 log(N)次二分类

• negative sampling

本质是预测总体类别的一个子集

很多时候，当我们面对林林总总的模型、方法时，我们总希望总结出一些本质的、共性的东西，以构建我们的知识体系，比如我在前作『分类和回归的本质』里，原创性地梳理了分类模型和回归模型的本质联系，比如在词嵌入领域，除了 Word2vec之外，还有基于共现矩阵分解的 GloVe 等等词嵌入方法。

深入进去我们会发现，神经网络形式表示的模型（如 Word2vec），跟共现矩阵分解模型（如 GloVe），有理论上的相通性，这里我推荐大家阅读参考资料5. ——来斯惟博士在它的博士论文附录部分，证明了 Skip-gram 模型和 GloVe 的 cost fucntion 本质上是一样的。是不是一个很有意思的结论？ 所以在实际应用当中，这两者的差别并不算很大，尤其在很多 high-level 的 NLP 任务（如句子表示、命名体识别、文档表示）当中，经常把词向量作为原始输入，而到了 high-level 层面，差别就更小了。

鉴于词语是 NLP 里最细粒度的表达，所以词向量的应用很广泛，既可以执行词语层面的任务，也可以作为很多模型的输入，执行 high-level 如句子、文档层面的任务，包括但不限于：

• 计算相似度
  • 寻找相似词
  • 信息检索
• 作为 SVM/LSTM 等模型的输入
  • 中文分词
  • 命名体识别
• 句子表示
  • 情感分析
• 文档表示
  • 文档主题判别

5.4NLP推荐资料

1. Mikolov 两篇原论文： 『Distributed Representations of Sentences and Documents』
   贡献：在前人基础上提出更精简的语言模型（language model）框架并用于生成词向量，这个框架就是 Word2vec 『Efficient estimation of word representations in vector space』
   贡献：专门讲训练 Word2vec 中的两个trick：hierarchical softmax 和 negative sampling 优点：Word2vec 开山之作，两篇论文均值得一读 缺点：只见树木，不见森林和树叶，读完不得要义。
   这里『森林』指 word2vec 模型的理论基础——即 以神经网络形式表示的语言模型
   『树叶』指具体的神经网络形式、理论推导、hierarchical softmax 的实现细节等等

2. 北漂浪子的博客：『深度学习word2vec 笔记之基础篇』 优点：非常系统，结合源码剖析，语言平实易懂 缺点：太啰嗦，有点抓不住精髓

3. Yoav Goldberg 的论文：『word2vec Explained- Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method』 优点：对 negative-sampling
   的公式推导非常完备 缺点：不够全面，而且都是公式，没有图示，略显干枯

4. Xin Rong 的论文：『word2vec Parameter Learning Explained』： ！重点推荐！ 理论完备由浅入深非常好懂，且直击要害，既有 high-level 的 intuition 的解释，也有细节的推导过程
   一定要看这篇paper！一定要看这篇paper！一定要看这篇paper！

5. 来斯惟的博士论文『基于神经网络的词和文档语义向量表示方法研究』以及他的博客（网名：licstar） 可以作为更深入全面的扩展阅读，这里不仅仅有 word2vec，而是把词嵌入的所有主流方法通通梳理了一遍

6. 几位大牛在知乎的回答：『word2vec 相比之前的 Word Embedding 方法好在什么地方？』 刘知远、邱锡鹏、李韶华等知名学者从不同角度发表对 Word2vec 的看法，非常值得一看

7. Sebastian 的博客：『On word embeddings - Part 2: Approximating the Softmax』 详细讲解了 softmax 的近似方法，Word2vec 的 hierarchical softmax 只是其中一种

参考资料

1. 矩阵的几种分解方式 - 加强版
2. 推荐系统中的矩阵分解（一）（ALS,SVD,BiasdSVD,SVD ++,surprise工具）
3. 奇异值分解（SVD）原理总结
4. 秒懂词向量Word2vec的本质