【应用多元统计分析】CH5 判别分析3——贝叶斯判别

数据人的自我救赎

已于 2022-11-29 19:18:51 修改

阅读量5.7k

点赞数 9

分类专栏：应用多元统计分析文章标签：深度学习人工智能

于 2022-10-30 16:39:35 首次发布

本文链接：https://blog.csdn.net/m0_72318954/article/details/127598080

版权

本文深入探讨了贝叶斯判别分析，包括最大后验概率法和最小期望误判代价法。通过实例解析了如何在不同条件下赋值先验概率和处理协方差矩阵，强调了在正态组情况下贝叶斯判别的优越性，并讨论了如何处理非正态数据以提升判别效果。

摘要由CSDN通过智能技术生成

前言——距离判别不适合的一个例子

研究的指标是英语六级考试成绩（满分710分）。

$\pi_{1}$ （校研究生组）： $N_{1}=2000,\mu_{1}=500$

$\pi_{2}$ （校本科生组）： $N_{2}=8000,\mu_{2}=400$

研究生中 $x\geqslant 500$ 的有1000人，本科生组中 $x\geqslant 500$ 的有2000人。某学生 x=500 ，试该判别该生归属哪一组？

该例如采用距离判别法则显然不妥，应考虑利用如下的先验概率：

$p_{1}=\frac{2000}{10000}=0.8,p_{2}=\frac{8000}{10000}=0.2$

距离判别方法简单，结论明确，是很实用的方法，但该方法也有缺点：

该判别与各总体出现的机会大小（先验概率）完全无关
判别方法没有考虑错判造成的损失，这是不合理的

Bayes 判别正是为解决这两方面问题而提出的判别方法。

Bayes 的统计思想总是假定对所研究的对象已有一定的认识，常用先验概率分布来描述这种认识。然后我们抽取一个样本，用样本修正已有的认识（先验概率分布），得到后验概率分布。

各种统计推断都通过后验概率分布来进行，将贝叶斯思想用于判别分析就得到贝叶斯判别法。

一、最大后验概率法

1.含义

设有个组 $\pi_{1},\cdots,\pi_{k}$ ，且组 $\pi_{i}$ 的概率密度为 $f_{i}(x)$ ，样品来自组 $\pi_{i}$ 的先验概率为 $p_{i},i=1,2,\cdots,k$ ，满足 $p_{1}+\cdots+p_{k}=1$ 。则属于 $\pi_{i}$ 的后验概率为

$P(\pi_{i}|x)=\frac{p_{i}f_{i}(x)}{\sum_{j=1}^{k}p_{j}f_{j}(x)},i=1,2,\cdots,k$

最大后验概率法是采用如下的判别规则：

${\color{Red} x\epsilon \pi_{l},P(\pi_{l}|x)=max_{1\leqslant i\leqslant k}P(\pi_{i}|x)(5.3.2)}$

2.【例5.3.1】

3.先验概率的赋值方法

利用历史资料及经验进行估计，例如某地区成年人中得癌症的概率为 $p_{1}=0.001$ ，不患癌的概率为 $p_{2}=0.999$
利用训练样本中各类样品所占的比例，即 $p_{i}=\frac{n_{i}}{n},n=n_{1}+n_{2}+\cdots+n_{k}$ ，这时要求训练样本是随机抽样取得的，各类样品被抽到的机会大小就是先验概率
没有任何先验信息时，取等概率 $p_{1}=\cdots=p_{k}=\frac{1}{k}$

4.皆为正态组的情形

设 $\pi_{i}\sim N_{p}(\mu_{i},\Sigma_{i}),\Sigma_{i}>0,i=1,\cdots,k$ ，这时组 $\pi_{i}$ 的概率密度为 $f_{i}(x)=(2\pi)^{-\frac{p}{2}}\left | \Sigma_{i} \right |^{-\frac{1}{2}}exp\left [ -0.5d^2(x,\pi_{i}) \right ],d^2(x,\pi_{i})=(x-\mu_{i})^{'}\Sigma_{i}^{-1}(x-\mu_{i})$

此时，后验概率为：
${\color{Red} P(\pi_{i}|x)=}\frac{p_{i}f_{i}(x)}{\sum_{j=1}^{k}p_{i}f_{i}(x)}=\frac{p_{i}\left | \Sigma _{i} \right |^{-\frac{1}{2}}exp\left \{ -\frac{1}{2}d_{i}^2 \right \}}{\sum_{j=1}^{k}p_{j}\left | \Sigma _{j} \right |^{-\frac{1}{2}}exp\left \{ -\frac{1}{2}d_{j}^2 \right \}}=\frac{exp\left \{ -\frac{1}{2}\left [ d_{i}^2+ln\left | \Sigma _{i}\right |-2lnp_{i} \right ] \right \}}{\sum_{j=1}^{k} exp\left \{ -\frac{1}{2}\left [ d_{j}^2+ln\left | \Sigma _{j}\right | -2lnp_{j} \right ] \right \}}={\color{Red} \frac{exp\left [ -\frac{1}{2}D^2(x,\pi_{i}) \right ]}{\sum_{j=1}^{k}\left [ -\frac{1}{2}D^2(x,\pi_{j}) \right ]}},i=1,2,\cdots,k;D^2(x,\pi_{i})=d^2(x,\pi_{i})+g_{i}+h_{i}$