机器学习笔记 - 贝叶斯决策论

贝叶斯定理

条件概率

条件概率是指两个事件$A$和$B$, $A$已经发生的条件下, $B$发生的概率, 记为 $P(B|A)$, 显然:

$$P(B|A) = \frac{P(AB)}{P(A)}$$
$P(AB)$是指 $A$和$B$同时发生的概率.

全概率公式

设样本空间为$S$, A为$E$的事件, $\{B_1, B_2, ... , B_n\}$为$S$的一个划分, 且$P(B_i)>0, i=\{1, 2, ... , n\}$, 则:

$$P(A) = \sum_{i=1}^mP(A|B_i)P(B_i)$$

贝叶斯公式

设样本空间为$S$, A为$E$的事件, $\{B_1, B_2, ... , B_n\}$为$S$的一个划分, 且$P(B_i)>0, i=\{1, 2, ... , n\}$, 则:

$$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^nP(A|B_j)P(B_j)}, i=1, 2, ... , n$$

贝叶斯决策论(Bayesian Decision Theory)

贝叶斯决策是在概率论的框架下对样本进行分类的方法， 在所有相关概率都已知的理想情形下， 贝叶斯决策考虑基于这个概率和误判损失来对样本进行分类。
设有$N$种可能的类别, 即$\gamma=\{c_1, c_2, ..., c_N\}$. $\lambda_{ij}$是将一个真实类别为$c_j$的样本判为$c_x$的损失。 基于后验概率可得将样本分类所产生的期望损失, 或者成为条件风险(Conditional Risk)

$$R(C_i|x) = \sum_{j=1}^{N}\lambda_{ij}P(c_j|x)$$
于是， 我们的任务就是寻找判定准则 $h$， 令$\chi \to \gamma$ 的分类条件分险 $R(h)=E_x[R(h(x)|x]$最小. 此准则可以简化为对每个样本选择其条件风险最小的分类, 即:
$$h^*(x)=argmin_{c \subset \lambda}R(c|x)$$
此 $h^*(x)$就是贝叶斯最优分类器。 $R(h^*)$为贝叶斯风险(Bayes Risk), $1-R(h^*)$反映了分类器的最优性能.
如果任务目标是最小化分类错误率， 则:
$$\lambda_{ij}= \begin{cases} 0, & \text{if i = j}; \\ 1, & \text{otherwise}; \end{cases}$$
此时条件风险为
$$R(c|x) = 1 - P(c|x)$$
所以,
$$h^*(x) = argmax_{c \subset \gamma} P(c|x)$$
基于贝叶斯定理， $P(c|x) = \frac{P(x|c)P(c)}{P(x)}$
于是， 问题的关键就转变为如何从训练样本中获取 $P(c)$和 $P(x|c)$。

Reference

1. http://www.cnblogs.com/phoenixzq/p/3539619.html
2. 概率论与数理统计 - 盛骤等, 高等教育出版社
3. 机器学习 - 周志华, 清华大学出版社