机器学习_贝叶斯分类/最大后验概率分类/最大似然分类

【0】贝叶斯决策理论

我的理解：所谓贝叶斯决策理论就是利用  p（ab）  同时发生的概率去决策的。eg. 比如 p(苹果占1/3且苹果是圆的概率) vs p(梨占2/3是圆的概率)。

所谓贝叶斯公式只是上式变形而已。

决策理论的目标：

在已知先验概率/似然函数的基础上，确定分类标准。而先验概率和似然函数中，只有似然函数含有未知数x

【1】最小化贝叶斯风险的似然率测试规则

因判别类别的错误代价不同，引入了误判代价c11，c12，c21，c22。cij，把j类误判为i类的代价

你要深刻理解这个公式

展开之后就是p(x|w1)*p(w1)*(c21-c11)。

具体为什么是c21可以从以下角度理解：

整体式子是越大越好，而代价是越小越有利，为了使整体标准化式子越大越好，所以这里需要引入别人的代价，别人的代价越大我越好。所以为c21

【2】最大后验概率判据

是最小贝叶斯风险的似然率测试规则的特殊形式，实质就是p(x|w1)*p(w1)的比较

【3】最大似然判据

继续特殊化，假设先验概率相等

【4】贝叶斯错误率

    1.启示：原来你所理解的错误率的计算方式是，统计学上的，出错个数/总的样本数

    2.老师从理论出发，因为不同类的样本属性有交叉，所以你以某一特定的属性去分类，一定会有误差，这样就产生了理论上的错误率

         具体请看模式识别第三章ppt部分。

【5】。所以贝叶斯的错误率是所有分类器里最好的，因为完整的利用了统计学的知识，因为后验概率一般得不到所以是理论上最好的

【n】问题

1.需要去翻概率论的书，似然函数是什么？怎么和概率密度函数一个样子？就是除分布函数的另一个函数。