机器学习笔记（五）续——朴素贝叶斯算法的后验概率最大化含义

　　上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。

假设使用0-1损失函数：

$$L(Y, f(X)) = \Bigg\{ \begin{array} {ll} 1, & Y \neq f(X) \\ 0, & Y = f(X) \end{array}$$

上式中的$f(x)$是分类决策函数， 这时，期望风险函数是：

$$R_{exp}(f)=E[L(Y, f(X))]$$

此期望是对联合分布$P(X, Y)$ 取的。由此取条件期望

$$R_{exp}(f) = E_X \sum_{k=1}^K[L(c_k, f(X))]P(c_k|X)$$
为了使期望风险最小化，只需对 $X=x$逐个极小化：
$$f(x) =arg \min_{y \in Y} \sum_{k=1}^KL(c_k,y)P(c_k|X=x) \\ =arg \min_{y \in Y} \sum_{k=1}^KP(c_k \neq Y|X=x) \\ =arg \min_{y \in Y} \sum_{k=1}^K(1-P(c_k = Y|X=x) )\\ =arg \max_{y \in Y} \sum_{k=1}^KP(c_k = Y|X=x)$$
通过以上推导，根据期望风险最小化得到了后验概率最大化：
$$f(x)=arg \max_{c_k}P(c_k|X=x)$$
这就是朴素贝叶斯算法所使用的原理。