算法工程师面试之生成式模型和判别式模型

总结

• 文章来源： CSDN@LawsonAbs

---

1.生成式模型和判别式模型

1.1 共同点

二者的目的都是要计算在给定条件（也就是特征）x的情况下，属于某个类别$y_i$的概率$p_{y_i}$，写成数学式子也就是计算条件概率$P(y_i|x)$。

1.2 不同点

虽然目的相同，但是计算方法却有所区别，下表给出二者的比较。

比较项	生成式模型	判别式模型
建模对象	联合分布P(x,y)	条件分布P(y|x)
计算公式	$P(Y\Vert X)=\frac{P(X,Y)}{P(X)}$	直接计算
模型集合	朴素贝叶斯，贝叶斯网络，隐马尔可夫模型，LDA	最大熵模型，条件随机场

下面给出一张图【《百面》的P125】，用于解释整个计算的流程：

2 生成式模型

2.1 主要思想

• 首先构建并学习输入特征和输出类别的联合分布
• 然后利用贝叶斯公式推导出输出类别的后验分布
• 最后结合决策损失函数构建判别函数进行分类决策

2.2 实例

朴素贝叶斯分类器。

3 判别式模型

3.1 主要思想

• 直接构建并学习出输出类别在输入特征条件下的条件分布
• 结合决策损失函数构建判别函数进行分类决策

3.2 实例

逻辑回归。

参考资料

• 《百面机器学习算法》