从贝叶斯模型（Bayes）到生成模型（Generative models）（生成式分类器，generative classifier）

0. 基于贝叶斯公式的生成式分类器

生成式分类器（generative classifier）即是已知类别得样本：

$$p(y=c|\mathbf x,\mathbf \theta)\propto p(\mathbf x|y=c,\mathbf \theta)p(y=c|\mathbf \theta)$$

$p(\mathbf x|y=c,\mathbf \theta)$ 称为类条件概率（class-conditional probability/density），定义了 每个类别（$y=c$）中我们所期待得到的数据是什么样的。上述公式的等式形式如下：

$$p(y=c|\mathbf x,\mathbf \theta)=\frac{p(\mathbf x|y=c,\theta)p(y=c|\theta)}{\sum_{c'}p(y=c'|\theta)p(\mathbf x|y=c',\theta)}$$

这里仅以离散型随机变量为例，因此上述等式中是求和符号。

1. PMF（Probability Matrix Factorization）

某矩阵 $R$ 可分解为两个低维矩阵的乘积 $R=U^TV$，由于系统噪音存在，不可能做出这样的完美分解，另外 R 包含很多未知元素。所以问题转化为：

• 对一个近似矩阵进行分解$\hat R =U^TV$
• 要求近似矩阵 $\hat R$ 在观测到的评分部分和观测矩阵 $R$ 尽量相似
• 为了防止过拟合，需要对 $U,V$ 做某种形式的约束（使解限定在一个较小的空间里）

用贝叶斯观点来说，$R$ 是观测到的值，$U,V$ 描述了系统的内部特征，是需要估计的（参数）。

$$p(U,V|R)=p(U,V,R)/p(R)\propto p(U,V,R)=p(R|U,V)p(U)p(V)$$