机器学习数学原理(3)——生成型学习算法
在上一篇博文中我们通过广义线性模型导出了针对二分类的Sigmoid回归模型以及针对多项分类的Softmax回归模型,需要说明的是,这两种算法模型都属于判别学习算法,而这篇博文主要分析了与之区别的生成型学习算法。生成型学习算法与判别学习算法虽然在结论上有很多相同的地方(从后面的分析中我们甚至可以发现生成学习算法也可以导出Sigmoid回归模型!),但是他们两者之间依然存在着本质的不同。
1 生成型学习算法介绍
1.1 贝叶斯公式
在介绍生成型学习算法之前笔者首先介绍一下贝叶斯公式:
这个公式不难理解,我们可以使用下面的图片来理解:
从上图我们可以发现其实在整个概率空间求p(x)与p(y)的交集概率可以得到如下公式:
p(x|y)p(y)=p(y|x)p(x)
将p(x)除过去便成为了贝叶斯公式。