生成模型

介绍判别模型和生成式模型，朴素贝叶斯。

生成模型和判别模型

• discriminative learning algorithms，也就是根据特征值来求结果的概率。
  • 可以表示为$P(y|x;\theta )$，在参数确定的条件下，直接求得在当前样本feature下的y的概率
  • 实际上是求条件概率
  • 常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、boosting、条件随机场、神经网络等。
• generative learning algorithms，根据$y$不同来学习不同的模型，然后取概率较大的那个
  • 可以表示为$P(x|y)$，很容易看出，使用贝叶斯公式可将两个模型进行统一：$P(y|x)=\frac{p(x|y)p(y)}{p(x)}$
  • 由 p ( x ∣ y ) ∗ p ( y ) = p ( x , y ) p(x|y) *p(y) = p(x,y)