正则项的物理意义--概率矩阵分解的角度

机器学习的优化目标中, 一般会加上参数的正则项. 1 范数, 2 范数都有其物理意义. 本贴根据对论文 Ruslan Salakhutdinov and Andriy Mnih, Probabilistic Matrix Factorization 的学习, 从概率矩阵分解的角度来进行解释.
本贴涉及的数学式子不多, 但写起来稍嫌复杂, 希望读者有点耐心. 毕竟是机器学习的一个坎, 迈过去就好了.

1. 数据

电影评分数据集可以表示为一个矩阵 $\mathbf{R}=[r_{ij}{]}_{N\times M}\in [0..5{]}^{N\times M}$.
其中

• $N$ 为用户数量;
• $M$ 为电影数量;
• $r_{ij}$ 为用户 $i$ 对电影 $j$ 的评分, 特别地, $r_{ij}=0$ 表示用户 $i$ 并未看过电影 $j$.

2. 模型

矩阵分解的思路是获得两个低秩矩阵 $\mathbf{U}=[{\mathbf{u}}_1;\dots ;{\mathbf{u}}_N]=[u_{ik}{]}_{N\times K}\in {\mathbb{R}}^{N\times K}$ 和 $\mathbf{V}=[{\mathbf{v}}_1;\dots ;{\mathbf{v}}_M]=[v_{jk}{]}_{M\times K}\in {\mathbb{R}}^{M\times K}$. K ≪ min ⁡ { M , N } K \ll \min\{M, N\} K≪min{M,N}, 因此被称为 “低秩”.
如果 $\mathbf{U}{\mathbf{V}}^{\mathrm{T}}$ 与 $\mathbf{R}$ 非零的部分拟合得好, 则有理由相信为零那部分的值 (未知值) 可以通过这个拟合预测出来.

3. 基本假设

假设: 给定 $\mathbf{U}$ 和 $\mathbf{V}$, 观测到 $\mathbf{R}$ 的条件概率分布为:
$$p(\mathbf{R}|\mathbf{U},\mathbf{V},{\sigma }^2)=\prod _{i=1}^N\prod _{j=1}^M{\left[\mathcal{N}\left(r_{ij}|{\mathbf{u}}_i{\mathbf{v}}_j^{\mathbf{T}},{\sigma }^2\right)\right]}^{I_{ij}}\text{\hspace{1em}(1)}$$
其中

• $\mathcal{N}$ 是有名的高斯分布, $\mathcal{N}(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$;
• $\mu ={\mathbf{u}}_i{\mathbf{v}}_j^{\mathbf{T}}$ 表示以预测值为均值;
• $x=r_{ij}$ 表示观测值;
• $I_{ij}=1$ 当且仅当 $r_{ij}\ne 0$, 否则 $I_{ij}=0$. 从连乘来看, 就表示只关心那些已经有评分的数据;
• 所有数据一视同仁, 所以用连乘.

说明:

• 根据子矩阵 $\mathbf{U}$ 和 $\mathbf{V}$, 用户对 $i$ 对项目 $j$ 的评分预测值为 ${\mathbf{u}}_i{\mathbf{v}}_j^{\mathbf{T}}$. 而真实评分为 $r_{ij}$. 由于子矩阵的 $K$ 值有限, 而且子矩阵要拟合的是非常多的评分值, 两者通常不会精确地相等. 例如, 预测值为 3.21, 而真实值为 3. 但我们会认为, 如果子矩阵靠谱的话, 预测值与真实值应该差别较小. 或反过来假设: 真实值在预测值左右摆动, 而且越接近后者概率越大. 这一假设可以描述为: 真实值服从以预测值为均值, 某个未知 $\sigma$ 为方差的高斯分布. 作为一个分布, 它适用于所有的预测值与实际值.
• 我们关心的是所有的已知评分的预测 (拟合) 情况, 因此用连乘式子. 连乘也是概率计算最常用招数.

4. 推导过程

由于我们观测到的是 $\mathbf{R}$, 需要求的是 $\mathbf{U}$ 和 $\mathbf{V}$.
根据贝叶斯公式, 忽略参数 ${\sigma }^2$ 我们可以写
$$p(\mathbf{U},\mathbf{V}|\mathbf{R})=\frac{p(\mathbf{R}|\mathbf{U},\mathbf{V})p(\mathbf{U},\mathbf{V})}{p(\mathbf{R})}\text{\hspace{1em}(2)}$$
$\mathbf{R}$ 既然是已经观测到的数据, 优化时可以不予以考虑.
假设 $\mathbf{U}$ 与 $\mathbf{V}$ 独立. 则我们可能把优化式子写为
$$\underset{\mathbf{U},\mathbf{V}}{\mathrm{argmax}}p(\mathbf{U},\mathbf{V}|\mathbf{R})=\underset{\mathbf{U},\mathbf{V}}{\mathrm{argmax}}p(\mathbf{R}|\mathbf{U},\mathbf{V})p(\mathbf{U})p(\mathbf{V})\text{\hspace{1em}(3)}$$
令 $\mathbf{U}$ 和 $\mathbf{V}$ 服从均值为 0 的球形高斯分布, 即
$$p(\mathbf{U}|{\sigma }_{\mathbf{U}}^2)=\prod _{i=1}^N\mathcal{N}\left({\mathbf{u}}_i|0,{\sigma }_{\mathbf{U}}^2\mathbf{I}\right)\text{\hspace{1em}(4)}$$
$$p(\mathbf{V}|{\sigma }_{\mathbf{V}}^2)=\prod _{i=1}^M\mathcal{N}\left({\mathbf{v}}_i|0,{\sigma }_{\mathbf{V}}^2\mathbf{I}\right)\text{\hspace{1em}(5)}$$
由于到处是乘法, 我们使用自然对数将原式写为:
$$\begin{array}{rl}p(\mathbf{U},\mathbf{V}|\mathbf{R},{\sigma }^2,{\sigma }_{\mathbf{U}}^2,{\sigma }_{\mathbf{V}}^2)=& -\sum _{i=1}^N\sum _{j=1}^M{I}_{ij}\left(\ln (\sqrt{2\pi }\sigma )+\frac{{\left(r_{ij}-{\mathbf{u}}_i^{\mathbf{T}}{\mathbf{v}}_j\right)}^2}{2{\sigma }^2}\right)\\ & -\frac{1}{2{\sigma }_{\mathbf{U}}^2}\sum _{i=1}^N\mathbf{u}{\mathbf{u}}^{\mathrm{T}}-\frac{1}{2}NK\ln {\sigma }_{\mathbf{U}}^2\\ & -\frac{1}{2{\sigma }_{\mathbf{V}}^2}\sum _{i=1}^M\mathbf{v}{\mathbf{v}}^{\mathrm{T}}-\frac{1}{2}MK\ln {\sigma }_{\mathbf{V}}^2+C\end{array}\text{\hspace{1em}(6)}$$
由于 (6) 式诸多项与参数无关, 最大化 (6) 就简化为
$$\min E=\sum _{i=1}^N\sum _{j=1}^M{I}_{ij}{\left(r_{ij}-{\mathbf{u}}_i^{\mathbf{T}}{\mathbf{v}}_j\right)}^2+\frac{{\lambda }_{\mathbf{U}}}{2}\Vert \mathbf{U}{\Vert }_F^2+\frac{{\lambda }_{\mathbf{V}}}{2}\Vert \mathbf{V}{\Vert }_F^2$$
其中 ${\lambda }_{\mathbf{U}}={\sigma }^2/{\sigma }_{\mathbf{U}}^2$, ${\lambda }_{\mathbf{V}}={\sigma }^2/{\sigma }_{\mathbf{V}}^2$.
于是就获得了相应的正则项.

5. 小结

从这里可以看出, 正则项并非强加上去, 而是推导出来的. 这是本贴撰写的源动力.
几点未完成工作:

1. ${\lambda }_{\mathbf{U}}$ 和 ${\lambda }_{\mathbf{V}}$好像不能从数据求出, 还是只有用户自己设定;
2. 推导的过程还不完整, 需要检查. 特别是球形高斯那里, 可以视为作业.