统计决策——贝叶斯决策（简单易懂的个人总结）

        贝叶斯决策一般分为 最小错误率贝叶斯决策 与 最小风险贝叶斯决策 两种。

        先简单的回顾一下概率论中的贝叶斯公式：

                

        P(AB) = P(B|A)P(A)这一步是基本的概率乘法公式(也可以认为是贝叶斯公式逆推来的)，记不起来的可以复习一下简单的概率论知识。

         同样使概率论中常用的 全概率公式 ，也是等下要用得到的：

                

一，最小错误率贝叶斯决策

1.1 决策规则

         一般提到的贝叶斯决策，默认都是指最小错误率贝叶斯决策。这种决策的目标是让我们的错误率最小化。如果换成机器学习中的分类任务而言，就是让我们的分类错误率达到最小。

          接下来以二分类任务为例，我们先定义出在单个样本上的错误概率：

                              

                w1代表类别1，w2代表类别2，e则是代表有错误发生。我觉得有必要特地解释一下，该分段函数的第一项，代表的含义是，当我们把x分类为w1时，而实际上x属于w2的概率。

        而在对于总体样本而言，我们把错误率p(e)定义为所有服从同样分布的独立样本上错误率的期望：

                            

        最右边的等式是由概率论中求期望的公式而来，即 E[f(x)]为 f(x)乘以x的概率密度函数 的积分，我们这个等式中，P(x)就是x的概率密度函数.

        现在，最小错误率的目标，即要使P(e)最小化，我们可以利用上面的公式表达为：

                            

        而根据定积分的性质，当积分区域相同时，比较两个不同定积分的大小我们只需要比较里面被积函数的大小即可。也就是说，要使P(e)最小，我们只需要使P(e|x)最小即可（因为P(x)是不会变的，而P(e|x)根据我们给出的表达式可知它受我们决策结果的影响，可变）

        最后，从使P(e|x)最小这个角度出发我们可以得到如下决策规则：

                   

        说人话就是，利用贝叶斯公式，计算出P(w1|x)与P(w2|x)两个后验概率的值，谁大，x就分到哪一类。                                                                                                                                            

1.2 计算实例

        假设在某个医院，癌细胞识别中正常(w1),异常(w2)两个类别的先验概率，p(w1)为0.9；p(w2)为0.1。现有一待识别细胞，观察值为x, 已知 p(x|w1) = 0.2, p(x|w2) = 0.4, 用最小错误率贝叶斯决策对其分类。

        解：     

                用贝叶斯公式以及全概率公式，分别计算出w1和w2的后验概率.

                      

所以这个时候把x分类到w1是合理的决策。                                                                                                                                                                                                                                         

二，最小风险贝叶斯决策

1.1决策规则

        顾名思义，与最小错误率决策的关注点不同，最小风险贝叶斯决策率关注的是如何把决策出错之后的风险最小化。这往往在现实场景中是很有必要的，比如把正常细胞错判为癌细胞，后果是病人会留院检查，但是如果把癌细胞错判为正常细胞，那就会耽误了病人的治疗最佳时机进而可能导致生命危险。所以基于这两种错误带来的风险，，我们明显应该给予第二种错误更大的权重，不应该平等的看待犯这两种错误的概率。

        首先对于最小风险贝叶斯决策，我们需要制定展示每一项决策风险的决策表。制作这张表通常靠的是专家经验，所以在业务场景下一般要与 业务方开会共同讨论决定。

        以β（ai,wi）代表当待测样本x属于wi类时，采用决策ai,会带来的风险大小，我们可以绘制以下决策表：：

                        

        与上面的流程雷同，我们先给出在单个样本x采取决策ai的期望风险：

                     

        翻译成大白话就是，对于单个样本x，它采取决策a1的期望风险，就是 （该样本属于类别w1的概率p(w1|x) 再乘以 在该类别w1下采取决策a1的风险β(a1,w1)） +  ( 该样本属于类别w2的概率p(w2|x) 再乘以 在该类别w2下采取决策a1的风险β(a1,w2) ) +........ 

        再此基础上，我们可以得出，对于整个同分布的孤立样本X，采取策略a1的期望风险是:

                                

        原理同最小错误率贝叶斯决策，并且同样的，为了最小化这一期望风险，我们只需要最小化R(a1|x)即可。因此，可以得出最小风险的贝叶斯决策如下：

                                

        也就是说，若是对于样本x，选择决策ai的风险最小，那么就选择它。

1.2计算实例

        利用最小错误率的那一道例题，额外追加一张决策表：

                        

根据之前的结果，我们可知，p(w1|x)=0818, p(w2|x)=0.182

那么, R(a1|x)= β(a1,w1)*p(w1|x) + β(a1,w2)*p(w2|x)= 0 * 0.818 + 6 * 0.182=1.092

         R(a2|x)=β(a2,w1)*p(w1|x) + β(a2,w2)*p(w2|x)=1 * 0.818 + 0*0.182=0.818

这么看来，对于样本x而言，选择a1的风险是最大的，我们应该采取决策a2.

        ps:决策a1代表把 待测细胞分类为正常细胞，而决策a2代表分为异常细胞.