第二章贝叶斯决策理论第一部分
1.介绍
统计工具,考虑可能性和代价
假设概率已知(先验概率,利用其它信息更准确,特征提取)
- Decision rule:Decide w1 if P(w1)>P(w2),otherwise decide w2
- Bayes Decision Rule for minimizing the probability of error:Decide w1 if P(w1|x)>P(w2|x),otherwise decide w2 或p(x|w1)P(w1)>p(x|w2)P(w2)(图像面积最小)
- 贝叶斯公式:P(wj|x)=p(x|wj)P(wj)/p(x) (posterior=likelihood*prior/evidence)
- P(error|x),P(error)--average probability of error
2.贝叶斯决策理论
- p(x)=∑p(x|wj)P(wj)
- 损失函数R(ai|x)=∑λ(ai|wj)P(wj|x) R=∫R(a(x)|x)p(x)dx
- 例子:二分器 Decide w1 if (λ21-λ11)P(w1|x)>(λ12-λ22)P(w2|x) p(x|w1)/p(x|w2)>(λ12-λ22)P(w2)/(λ21-λ11)P(w1)
3.最小错误率分类
R(ai|x)=∑λ(ai|wj)P(wj|x)=∑P(wj|x)=1-P(wi|x)
4.分类器,判别函数和决策面
- 分类器其实是个神经网络
- 判别函数不唯一
- g(x)恒等于g1(x)-g2(x)(决定由g(x)是否大于0)