【0】贝叶斯决策理论
我的理解:所谓贝叶斯决策理论就是利用 p(ab) 同时发生的概率去决策的。eg. 比如 p(苹果占1/3且苹果是圆的概率) vs p(梨占2/3是圆的概率)。
所谓贝叶斯公式只是上式变形而已。
决策理论的目标:
在已知先验概率/似然函数的基础上,确定分类标准。而先验概率和似然函数中,只有似然函数含有未知数x
【1】最小化贝叶斯风险的似然率测试规则
因判别类别的错误代价不同,引入了误判代价c11,c12,c21,c22。cij,把j类误判为i类的代价
你要深刻理解这个公式
展开之后就是p(x|w1)*p(w1)*(c21-c11)。
具体为什么是c21可以从以下角度理解:
整体式子是越大越好,而代价是越小越有利,为了使整体标准化式子越大越好,所以这里需要引入别人的代价,别人的代价越大我越好。所以为c21
【2】最大后验概率判据
是最小贝叶斯风险的似然率测试规则的特殊形式,实质就是p(x|w1)*p(w1)的比较
【3】最大似然判据
继续特殊化,假设先验概率相等
【4】贝叶斯错误率
1.启示:原来你所理解的错误率的计算方式是,统计学上的,出错个数/总的样本数
2.老师从理论出发,因为不同类的样本属性有交叉,所以你以某一特定的属性去分类,一定会有误差,这样就产生了理论上的错误率
具体请看模式识别第三章ppt部分。
【5】。所以贝叶斯的错误率是所有分类器里最好的,因为完整的利用了统计学的知识,因为后验概率一般得不到所以是理论上最好的
【n】问题
1.需要去翻概率论的书,似然函数是什么?怎么和概率密度函数一个样子?就是除分布函数的另一个函数。