贝叶斯定理
条件概率
条件概率是指两个事件
A
和
P(B|A)=P(AB)P(A)
P(AB) 是指 A 和
全概率公式
设样本空间为
S
, A为
P(A)=∑i=1mP(A|Bi)P(Bi)
贝叶斯公式
设样本空间为
S
, A为
P(Bi|A)=P(A|Bi)P(Bi)∑nj=1P(A|Bj)P(Bj),i=1,2,...,n
贝叶斯决策论(Bayesian Decision Theory)
贝叶斯决策是在概率论的框架下对样本进行分类的方法, 在所有相关概率都已知的理想情形下, 贝叶斯决策考虑基于这个概率和误判损失来对样本进行分类。
设有
N
种可能的类别, 即
R(Ci|x)=∑j=1NλijP(cj|x)
于是, 我们的任务就是寻找判定准则 h , 令
h∗(x)=argminc⊂λR(c|x)
此 h∗(x) 就是贝叶斯最优分类器。 R(h∗) 为贝叶斯风险(Bayes Risk), 1−R(h∗) 反映了分类器的最优性能.
如果任务目标是最小化分类错误率, 则:
λij={0,1,if i = j;otherwise;
此时条件风险为
R(c|x)=1−P(c|x)
所以,
h∗(x)=argmaxc⊂γP(c|x)
基于贝叶斯定理, P(c|x)=P(x|c)P(c)P(x)
于是, 问题的关键就转变为如何从训练样本中获取 P(c) 和 P(x|c) 。
Reference
- http://www.cnblogs.com/phoenixzq/p/3539619.html
- 概率论与数理统计 - 盛骤等, 高等教育出版社
- 机器学习 - 周志华, 清华大学出版社