【应用多元统计分析】CH5 判别分析3——贝叶斯判别

数据人的自我救赎

已于 2022-11-29 19:18:51 修改

阅读量5.6k

点赞数 9

分类专栏：应用多元统计分析文章标签：深度学习人工智能

于 2022-10-30 16:39:35 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_72318954/article/details/127598080

版权

本文深入探讨了贝叶斯判别分析，包括最大后验概率法和最小期望误判代价法。通过实例解析了如何在不同条件下赋值先验概率和处理协方差矩阵，强调了在正态组情况下贝叶斯判别的优越性，并讨论了如何处理非正态数据以提升判别效果。

摘要由CSDN通过智能技术生成

目录

前言——距离判别不适合的一个例子

一、最大后验概率法

编辑 2.【例5.3.1】

3.先验概率的赋值方法

4.皆为正态组的情形

（1）先验概率相等，协方差矩阵相等时

（2）仅先验概率相等时

（3）仅协方差矩阵相等时

5.【例5.3.2】

二、最小期望误判代价法

2.两组的一般情形

（1）期望误判代价

（2）误判代价之比

（3）【例5.3.3】

（4）（5.3.13）式的一些特殊情形

（5）【例5.3.4】

3.两个正态组的情形

（1）协方差矩阵相等时

（2）协方差矩阵不相等时

（3）如何变换到接近正态性

4.多组的情形

（2）【注】

编辑（3）【例5.3.5】

前言——距离判别不适合的一个例子

研究的指标是英语六级考试成绩（满分710分）。

$\pi_{1}$ （校研究生组）： $N_{1}=2000,\mu_{1}=500$

$\pi_{2}$ （校本科生组）： $N_{2}=8000,\mu_{2}=400$

研究生中 $x\geqslant 500$ 的有1000人，本科生组中 $x\geqslant 500$ 的有2000人。某学生 $x=500$ ，试该判别该生归属哪一组？

该例如采用距离判别法则显然不妥，应考虑利用如下的先验概率：

$p_{1}=\frac{2000}{10000}=0.8,p_{2}=\frac{8000}{10000}=0.2$

距离判别方法简单，结论明确，是很实用的方法，但该方法也有缺点：

该判别与各总体出现的机会大小（先验概率）完全无关
判别方法没有考虑错判造成的损失，这是不合理的

$Bayes$ 判别正是为解决这两方面问题而提出的判别方法。

$Bayes$ 的统计思想总是假定对所研究的对象已有一定的认识，常用先验概率分布来描述这种认识。然后我们抽取一个样本，用样本修正已有的认识（先验概率分布），得到后验概率分布。

各种统计推断都通过后验概率分布来进行，将贝叶斯思想用于判别分析就得到贝叶斯判别法。

一、最大后验概率法

1.含义

设有 $k$ 个组 $\pi_{1},\cdots,\pi_{k}$ ，且组 $\pi_{i}$ 的概率密度为 $f_{i}(x)$ ，样品 $x$ 来自组 $\pi_{i}$ 的先验概率为 $p_{i},i=1,2,\cdots,k$ ，满足 $p_{1}+\cdots+p_{k}=1$ 。则 $x$ 属于 $\pi_{i}$ 的后验概率为

$P(\pi_{i}|x)=\frac{p_{i}f_{i}(x)}{\sum_{j=1}^{k}p_{j}f_{j}(x)},i=1,2,\cdots,k$

最大后验概率法是采用如下的判别规则：

${\color{Red} x\epsilon \pi_{l},P(\pi_{l}|x)=max_{1\leqslant i\leqslant k}P(\pi_{i}|x)(5.3.2)}$

2.【例5.3.1】

3.先验概率的赋值方法

利用历史资料及经验进行估计，例如某地区成年人中得癌症的概率为 $p_{1}=0.001$ ，不患癌的概率为 $p_{2}=0.999$
利用训练样本中各类样品所占的比例，即 $p_{i}=\frac{n_{i}}{n},n=n_{1}+n_{2}+\cdots+n_{k}$ ，这时要求训练样本是随机抽样取得的，各类样品被抽到的机会大小就是先验概率
没有任何先验信息时，取等概率 $p_{1}=\cdots=p_{k}=\frac{1}{k}$

4.皆为正态组的情形

设 $\pi_{i}\sim N_{p}(\mu_{i},\Sigma_{i}),\Sigma_{i}>0,i=1,\cdots,k$ ，这时组 $\pi_{i}$ 的概率密度为 $f_{i}(x)=(2\pi)^{-\frac{p}{2}}\left | \Sigma_{i} \right |^{-\frac{1}{2}}exp\left [ -0.5d^2(x,\pi_{i}) \right ],d^2(x,\pi_{i})=(x-\mu_{i})^{'}\Sigma_{i}^{-1}(x-\mu_{i})$

此时，后验概率为：

最低0.47元/天解锁文章

数据人的自我救赎

关注

9
点赞
踩
70

收藏

觉得还不错? 一键收藏
0
评论
【应用多元统计分析】CH5 判别分析3——贝叶斯判别

贝叶斯判别法介绍
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。