朴素贝叶斯:后验概率最大化的推导

本文是记录在学习朴素贝叶斯的后验概率最大化的推导遇到的一些疑问, 以供参考.

首先, 我们可以知道朴素贝叶斯分类器可以表示为:
$$y=f(x)=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$
假设损失函数为: $L(Y,f(X))$, 所以期望损失函数为:
$$\begin{array}{rl}{R}_{exp}f(x)& =E(L(Y,f(X))\\ & =\sum _{x\in X}\sum _{c_k\in Y}L(y=c_k,f(x))P(X=x,Y=c_k)\\ & =\sum _{x\in X}\sum _{c_k\in Y}L(y=c_k,f(x))P(Y=c_k|X=x)P(X=x)\\ & =\sum _{x\in X}[\sum _{c_k\in Y}L(y=c_k,f(X))P(Y=c_k|X=x)]P(X=x)\\ & =E_X[\sum _{c_k\in Y}L(y=c_k,f(X))P(Y=c_k|X=x)]\end{array}$$
当损失函数是 0-1 损失函数
$$0-1损失函数:L(Y,f(X))=\{\begin{array}{cc}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$

若预测值$f(x)=y$, 期望损失函数为 $E(0)=0$;

若预测值$f(x)\ne y$, 期望损失函数为$E_X[{\sum }_{c_k\in Y}P(y\ne c_k|X=x)]$

所以最小化期望损失函数就是:
$$f(x)=\arg \underset{c_k}{\min }{E}_X[\sum _{c_k\in Y}P(y\ne c_k|X=x)]$$
因为$P(x)$是概率密度函数, 相当于${\sum }_{c_k\in Y}P(y\ne c_k|X=x)$这一部分的权重,
所以最小化$E_X[{\sum }_{c_k\in Y}P(y\ne c_k|X=x)])$就相当于对每个$x$求最小化
所以有:

$$f(x)=\arg \underset{c_k}{\min }\sum _{c_k\in Y}P(y\ne c_k|X=x)$$

这里的预测值$x$只会属于某一个类别，因此，1减去属于某个类别的概率等价于预测值不属于其他所有类别的概率, 就可以去掉求和符${\sum }_{c_k\in Y}$, 得到:
$$\begin{array}{rl}f(x)& =\arg \underset{c_k}{\min }(1-P(y\ne c_k|X=x))\\ & =\arg \underset{c_k}{\max }P(y=c_k|X=x)\end{array}$$

最终, 我们就得到了后验概率最大化准则:
$$f(X)=\arg \underset{c_k}{\max }P(y=c_k|X=x)$$
即选取使后验概率最大的值作为预测值

参考:
第四章朴素贝叶斯法.4.3 期望风险最小化
朴素贝叶斯 期望风险最小化与最大后验概率