关于后验概率最大化的思考

相信大家对上一部分都很容易理解，朴素贝叶斯最终将实例分到后验概率最大的哪一个类别中，所以是一个0-1损失。

对于联合概率来说，上式是成立的，但是对于条件概率而言，应该考虑到条件概率的情况，故此：

                                              

接下来就是求极小值，使得损失最小：

                                                   

一步一步解说公式：

（1）

就是对条件期望的X逐个极小化。

（2）

因为损失函数是0-1损失函数。当Y=f(X)时对应的值为0， 顾只剩下了Y≠f(X)的项

（3）

我们更加关系样本被分到哪一个类中，同时求分到一个类的概率的计算量比没分到的计算量要少， 因此进行改写

（4）

原来是极小化，且有负号，因此求极大值

 

总结 求后验概率极大化 等价于求损失极小化