Generative Learning algorithms生成学习算法

    在之前的算法如线性回归等，都是对p(y|x;θ)直接建模，也就是，我们通过学习样本数据，得到在参数θ下，给定输入x时y的概率分布，也就是待预测值的概率分布，从而达到预测的目的。这是判别式学习算法。我们可以变化思考角度，来对p(x|y;θ)建模，也许能更好地解决某些问题，这是生成学习算法。也就是说我们对在参数θ下，给定结论y后，输入特征的概率分布建模。举个例子，假设我们要分辨动物是猫还是狗，我们可以根据一些特征推算出它是狗的概率，比如脸型，爪子特征等等，这就是对p(y|x;θ)直接建模，此时我们往往要找到一个决策界线，比如线性回归要找到分隔直线，用于预测结果。我们还可以考虑，当动物是狗时，它有某些特征的概率时多少，这就是对p(x|y;θ)建模，当我们需要预测一个未知动物，我们提取它的特征，然后跟狗的特征比较，再跟猫的特征比较，看它更符合哪个，从而得到结论。

    在生成学习算法中，我们一般需要对p(y|x)建模，为便于之后计算，一般还要对p(y)建模，这里解释一下建模这个词，一般是指赋予它一个概率分布模型，比如当y只能取0或1（分类问题）时，一般用伯努利分布对y建模。此后，根据

我们就间接得到了p(y|x;θ)，从而可以预测。实际上，我们是要得到能使p(y|x)取最大值的y的值，那么可以简化问题：

在接下来的几个博文中，我们将具体学习几个生成学习算法。