机器学习(5) 推荐 矩阵分解(Matrix Factorization)

稍微看了一些关于推荐方面的资料，做一下简单的总结。

---

推荐任务定义：

在一个标准推荐任务中，我们有$m$个用户(user)，$n$个物品(item)，以及一个稀疏评分矩阵$R(R\in R^{m*n})$。$R$中每个$R_{ij}$表示用户$i$对于物品$j$的评分。如果$R_{ij} \neq 0$，那么说明用户$i$有对物品$j$的评分，反之则没有。每一个用户$i$可以用向量$s_i^{u}=(R_{i1},R_{i2}, ... ,R_{in})$表示，同样地，每一个物品$j$可以用向量$s_j^{i}={R_{1j},...,R_{mj}}$表示。对于用户和物品各自的边信息(side information)矩阵，则分别用$X\in R^{m*p}$和$Y\in R^{n*q}$表示。

设$u_i,v_j \in R^k$，其中$u_i$为用户$i$的隐因子向量(latent factor vector)，$v_j$则是物品$j$的隐因子向量(latent factor vector),$k$是隐空间的维度。因而，对于用户和物品来说，对应的隐因子向量形式分别是$U =u_{1:m}$和$V=v_{1:n}$。由于$R=UV$，所以如果能够求出$U$和$V$的话，那么我们可以求出一个非稀疏的评分矩阵$R$出来。

给定一个稀疏的评分矩阵$R$，以及边信息矩阵$X$和$Y$，我们的目标是学习出$U$和$V$，从而预测出$R$中缺失的评分。（这也叫矩阵的UV分解）

---

矩阵分解

矩阵分解的思想很简单，对于用户-物品这个评分矩阵$R$，我们可以将其分解为用户-特性矩阵，以及特性-物品矩阵。这样做的好处有两点：
1. 得到了用户的偏好，以及物品的特性
2. 降低了矩阵的维度。
举个例子，比如音乐推荐。我们比如有3个用户(u表示)，4首音乐(m表示)。

$$\begin{array}{c|cc} & m_1 & m_2 & m_3 & m_4 \\ \hline u_1 & & w_{12}^{um} & &\\ u_2 & w_{21}^{um} & & &\\ u_3 & & & w_{32}^{um} & \end{array}$$
可以想到，在真实的场景中，这个矩阵是极其稀疏的，对于庞大的音乐库来说，每个用户听过的曲目都是极小的一部分。并且由于用户数量和音乐数量极大，所以这个 $R$实际上是一个极大的矩阵。
现在假设音乐的风格有以下几类：摇滚，重金属，民谣，说唱，轻音乐。分别用${s_1,s_2,s_3,s_4,s_5}$来表示。那么我们希冀得到用户对于风格偏好的矩阵 $Q$，以及每个风格在歌曲中所占比重的矩阵$P$。
$$% outer vertical array of arrays 外层垂直表格 \begin{array}{c} % inner horizontal array of arrays 内层水平表格 \begin{array}{cc} % inner array of minimum values 内层"最小值"数组 \begin{array}{c|cccc} & s_1 & s_2 & s_3 & s_4 & s_5 \\ \hline u_1 & w_{11}^{us} & w_{12}^{us} & w_{13}^{us} & w_{14}^{us} & w_{15}^{us} \\ u_2 & w_{21}^{us} & w_{22}^{us} & w_{23}^{us} & w_{24}^{us} & w_{25}^{us} \\ u_3 & w_{31}^{us} & w_{32}^{us} & w_{33}^{us} & w_{34}^{us} & w_{35}^{us} \\ \end{array} & % inner array of maximum values 内层"最大值"数组 \begin{array}{c|cccc} & m_1& m_2 & m_3 & m_4\\ \hline s_1 & w_{11}^{sm} & w_{12}^{sm} & w_{13}^{sm} & w_{14}^{sm}\\ s_2 & w_{21}^{sm} & w_{22}^{sm} & w_{23}^{sm} & w_{24}^{sm}\\ s_3 & w_{31}^{sm} & w_{32}^{sm} & w_{33}^{sm} & w_{34}^{sm}\\ s_4 & w_{41}^{sm} & w_{42}^{sm} & w_{43}^{sm} & w_{44}^{sm}\\ s_5 & w_{51}^{sm} & w_{52}^{sm} & w_{53}^{sm} & w_{54}^{sm} \end{array} \end{array} % 内层第一行表格组结束 \\ \end{array}$$
通过这两个矩阵，我们就可以计算出 $u_i$对 $m_i$的评分：
$$w_{ij}^{um} = \sum_{h=1}^{5}w_{ih}^{us}w_{hj}^{sm},5是音乐风格种类的数量$$
通过这种方式，我们即可补全矩阵R。

现在的问题是，如何求出矩阵$Q$和$P$呢？
很简单的做法，我们可以通过迭代的方式，逐步使得$\tilde{R}=QP^T$与R之间的距离变小。设置loss函数，然后使用梯度下降法。loss函数设置如下：

$$\begin{equation} arg\ \min\limits_{Q,P} =\mathcal{L}(R,QP^T) +\lambda(||Q||_F^2 + ||P||_F^2) \end{equation}$$
其中 $\mathcal{L}(\cdot,\cdot)$是衡量两个矩阵之间距离的loss函数，而 $(||Q||_F^2 + ||P||_F^2)$则是正则项，用来约束参数，避免过拟合。 $||\cdot||_F$是F-范数。这就是最基本的矩阵分解的思想和做法，后面有更进一步，比如考虑多种因素的，引入历史信息的，引入时间信息的。可以参见 这篇博客。

---

F-范数：

设$A=(a_{ij})_{n*n} \in C^{n*n}$，令

$$||A||_F = \big(\sum_{i=n}^n\sum_{i=n}^n|a_{ij}|^2\big)^{\frac{1}{2}}$$
$||A||_F$是一种与向量的2-范数 $||x||_2$相容的方针范数，称其为方阵A的Frobenius范数，简称F-范数。看这个形式，其实跟L2范数的计算方式一模一样嘛。但是L2范数是没有限制矩阵的形状的，而F范数必须是个方阵。
关于L2范数为什么可以起到正则化的效果，可以参见 这篇博客，个人觉得讲的非常好，浅显易懂。佩服~