最小风险 最小错误 贝叶斯决策 Bayes(实例详解)

简介

贝叶斯决策其实是已经被很多博客解释的非常详细了,为了不制造学术垃圾,本来一直没打算写一篇关于Bayes的blog,但是我也是最近才看到这两个概念,唉,都怪自己掌握的还是不够到位。

所以这次我会详细的分享有关最小错误、最小风险的Bayes决策,然后当然如果你还没有了解什么是贝叶斯决策的话,还是应该先去学习了解原理,然后再来看这次扩展的知识。

另外,我真心觉得最小风险 最小错误的贝叶斯分析,更加切合实际生活应用中的情况。看完你就明白了。

最小错误率Bayes

假设待识别的特征为X,样本分为m类,各类的先验概率和各类的类概密均已知,就有m个判别函数,由Bayes公式可知:
在这里插入图片描述
在取得一个观察特征X后,在特征X的条件下,看哪个类的概率最大,应该把X归于概率最大的那个类。由此,可得到最大后验概率判决准则的几种等价形式:

在这里插入图片描述
其中, L(x)称为似然比,  lnL(x)称为对数似然比
P(ω1)/P(ω2)称为似然比阈值

例子

我们看一个例子就很好理解了:

假设在某个局部地区的细胞识别中, 第一类表 示正常, 第二类表示异常, 两类的先验概率分别为: 正常P(ω1)=0.9,
P(ω2)=0.1。 现有一个待识别样 本细胞, 其观察值为x, 从类条件概率密度函数曲线 p(x|ωi)上可查得:
p(x|ω1)=0.2, p(x|ω2)=0.4, 试判断该细胞是否正常。

在这里插入图片描述
根据 Bayes 判决准则将该细胞判为第一类ω1, 即为正常细胞。

最大后验概率判决准则使决策的错误率最小。最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。 因此, 最大后验概率判决准则又称为最小错误概率判决准则。

分析

  • 这里以二分类情况为例进行分析。 此时, m=2,
    任意一个判决准则对应于特征空间Rd的一个划分:
    R=R1∪R2, R1∩R2=Ф。为了直观,假设x只有一个特
    征,n=1。错误分类有两种情况:①若x原属于ω1类,
    却落入R2,称为第1类错误;②若x原属于ω2类,却落
    入R1 ,称为第2类错误。
  • 第1类错误概率P1(e)为:
    在这里插入图片描述
  • 第2类错误概率P2(e)为:
    在这里插入图片描述
  • 因此,平均错误概率P (e)为:
    在这里插入图片描述
    在这里插入图片描述

但是我们要这么想,假如现在就是当前疫情期间,仍然有0.18的概率是异常细胞,这个概率是不是太大了呢。如果判断失误,这个代价很可能是巨大的。由此,我们需要最小风险的决策。

最小风险的Bayes决策

在这里插入图片描述

  • 图中,直线B的划分把正常药品误判为异常药品,这样扩大了总错误率,会给企业带来一定的损失;直线A的划分将异常药品误判为正常药品,虽然使错误分类最小,但会使病人因失去正确的治疗而遭受极大的损失。可见使错误率最小并不一定是最佳选择。
  • 实际应用时,从根据不同性质的错误会引起不同程度的损失考虑出发,宁可扩大一些总的错误率,但也要使总的损失减少。这时图中的直线B的划分最为实用。这会引进一个与损失有关联的概念-风险。在做决策时,要考虑所承担的风险。基于最小风险的Bayes决策规则正是为了体现这一点而产生的。

若要判断某颗药品是正常(ω1)还是异常(ω2),于 是在判断中可能出现如下情况:
¾第一种,判对(正常药品→正常药品)λ11 ;第二种,判错(正常药品→异常药品) λ21 ; ¾第三种,判对(异常药品→异常药品) λ22;第三类,判错(异常药品→正常药品) λ12 。 ¾ 在判断时,除了能做出“是” ωi类或“不是” ωi类 的动作以外,还可以做出“拒识”的动作。为了更好地研究最小风险Bayes分类器,下面说明几个概念:

我们定义如下概念,方便后面进行分析:

  • 损失函数λii=λ(αi ,ωi)表示模式x本来属于ωi类而错判为ωi所受损失。因为这是正确判决,故损失最小。
  • 损失函数λij=λ(αi , ωj)表示模式x本来属于ωj类错判为ωi所受损失。因为这是错误判决,故损失最大。
  • 风险R(期望损失):对未知模式x采取一个判决行动α(x)所付出的代价(损失)。
  • 条件风险(也叫条件期望损失):
    在这里插入图片描述
  • 在整个特征空间中定义期望风险R:
    在这里插入图片描述

注:条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险R则反映在整个特征空间不同的x取值a(x) {决策可看成是随机向量x的函数, 记为a(x)}的决策行动所带来的平均风险

最小风险Bayes决策规则:

在这里插入图片描述

例子

看了就完全理解了:

在上个例子的基础上, 增加条件λ11=0, λ12=6, λ21=1, λ22=0, 请判断该细胞是否正常

若按最小风险的Bayes判决进行判断, 先计算后验概率:

在这里插入图片描述

条件风险:
在这里插入图片描述
在这里插入图片描述
所以如果误测的代价特别大的话,就应了那句话,宁可误测一千,也不放过一个。(开玩笑啦)

大家共勉~~

  • 66
    点赞
  • 235
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
下面是一个简单的贝叶斯最小风险决策的 Matlab 实例,该例演示了如何实现贝叶斯最小风险决策,并且可以使用它来帮助分类来自两个不同种类的数据。 假设有两种类型的数据,其中每种类型的数据都来自一个高斯分布。我们可以使用贝叶斯最小风险决策来确定给定一个新的数据点属于哪种类型的数据。 首先,我们需要生成一些示例数据: ```matlab % 生成数据 mu1 = [1, 1]; % 类别 1 的均值 sigma1 = [1, 0; 0, 1]; % 类别 1 的协方差矩阵 X1 = mvnrnd(mu1, sigma1, 100); % 从类别 1 的高斯分布中生成 100 个数据点 mu2 = [-1, -1]; % 类别 2 的均值 sigma2 = [1, 0; 0, 1]; % 类别 2 的协方差矩阵 X2 = mvnrnd(mu2, sigma2, 100); % 从类别 2 的高斯分布中生成 100 个数据点 % 绘制数据 figure; scatter(X1(:,1), X1(:,2), 'r'); hold on; scatter(X2(:,1), X2(:,2), 'b'); legend('Class 1', 'Class 2'); ``` 然后,我们可以计算每个类别的先验概率,以及每个类别的条件概率密度函数: ```matlab % 计算先验概率 p1 = 0.5; % 类别 1 的先验概率 p2 = 0.5; % 类别 2 的先验概率 % 计算条件概率密度函数 pdf1 = @(x) mvnpdf(x, mu1, sigma1); % 类别 1 的条件概率密度函数 pdf2 = @(x) mvnpdf(x, mu2, sigma2); % 类别 2 的条件概率密度函数 ``` 接下来,我们可以定义一个函数,该函数将一个新的数据点作为输入,并通过计算每个类别的期望损失来确定该数据点属于哪个类别: ```matlab function [label, loss] = bayes_decision(x, p1, p2, pdf1, pdf2) % 计算每个类别的期望损失 l11 = 0; % 类别 1 被误认为是类别 1 的损失 l12 = 1; % 类别 2 被误认为是类别 1 的损失 l21 = 1; % 类别 1 被误认为是类别 2 的损失 l22 = 0; % 类别 2 被误认为是类别 2 的损失 E1 = l11 * pdf1(x) * p1 + l21 * pdf2(x) * p2; % 类别 1 的期望损失 E2 = l12 * pdf1(x) * p1 + l22 * pdf2(x) * p2; % 类别 2 的期望损失 % 确定数据点属于哪个类别 if E1 < E2 label = 1; loss = E1; else label = 2; loss = E2; end end ``` 最后,我们可以使用这个函数来分类一些新的数据点,并将其可视化: ```matlab % 分类新数据 N = 100; X = [linspace(-4, 4, N)', linspace(-4, 4, N)']; labels = zeros(N, N); losses = zeros(N, N); for i = 1:N for j = 1:N [labels(i,j), losses(i,j)] = bayes_decision([X(i,j), X(i,j)], p1, p2, pdf1, pdf2); end end % 绘制分类结果 figure; contourf(X(:,1), X(:,2), labels, 1); hold on; scatter(X1(:,1), X1(:,2), 'r'); scatter(X2(:,1), X2(:,2), 'b'); legend('Decision boundary', 'Class 1', 'Class 2'); ``` 运行这个脚本,你将看到一个分类器将数据点分成两个类别的图形输出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值