matlab距离判别分析经典例题,第4章判别分析及matlab实现.ppt

第4章判别分析及matlab实现

③ 重复步骤①，②，直到G1中的全部样品依次被删除，又进行判别，其误判的样品个数记为 ④ 对G2的样品重复步骤①，②，③直到G2中的全部样品依次被删除又进行判别，其误判的样品个数记为 于是交叉误判率估计为： 第32页/共57页 4.2 Bayes判别分析 贝叶斯公式是一个我们熟知的公式 距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。 第33页/共57页 4.2.1 两个总体的Bayes判别 1.一般讨论 考虑两个m元总体 分别具有概率密度函数f1(x),f2(x)，设出现的先验概率为： ，且 当取得新样品 后,根据Bayes公式 的后验概率分别为 (4.2.1) 第34页/共57页 因此，两个总体的Bayes判别准则为 2.两个正态总体的Bayes判别 (1)两个总体协方差矩阵相等的情形 设总体G1,G2的协方差矩阵相等且为Σ，概率密度函数为： (4.2.2 ) 第35页/共57页 损失相等的Bayes判别准则为 其中 基于两正态总体后验概率的Bayes判别准则为 其中 第36页/共57页 在实际问题中，关于先验概率 ，通常用下列两种方式选取: 1)采用等概率选取，即 2)按训练样本的容量 的比例选取，即 第37页/共57页 例4.2.1 对例4.1.1的数据，重新对上述三个蠓虫的类别进行Bayes判别.(假设误判损失相等) 解： 第1步：可以验证两个总体服从二元正态分布；(第二章的正态性检验，读者自证) 第2步：检验两个总体的协方差矩阵相等； 第3步：估计两个总体的先验概率,,这里按样本容量的比例选取.由于Apf与Af分别为6个与9个，故估计Apf类蠓虫的先验概率 ，Af类蠓虫的先验概率 ； 第4步：利用MATLAB软件计算： 第38页/共57页 apf=[1.14,1.78; 1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96]; af=[1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; x=[1.24,1.8;1.28,1.84; 1.4,2.04]; m1=mean(apf);m2=mean(af); s1=cov(apf);s2=cov(af);s=(5*s1+8*s2)/13; for i=1:3 w1(i)=m1*inv(s)*x(i,:)'-1/2*m1*inv(s)*m1'+log(0.4); w2(i)=m2*inv(s)*x(i,:)'-1/2*m2*inv(s)*m2'+log(0.6); if w1(i)>=w2(i) disp(['第',num2str(i),'个蠓虫属于Apf类']); else disp(['第',num2str(i),'个蠓虫属于Af类']); end; end; 输出结果： 第1个蠓虫属于Apf类 第2个蠓虫属于Apf类 第3个蠓虫属于Apf类 第39页/共57页 (2)两个总体协方差矩阵不相等的情形 设总体的协方差矩阵不相等分别为Σ1,Σ2概率密度函数为： 则基于两正态总体误判损失相等的Bayes判别准则 其中 第40页/共57页 4.2.2 多个总体的Bayes判别 设有k个总体G1,G2,…,Gk的概率密度为fj(x)各总体出现的先验概率为 1.一般讨论 当出现样品 时, 总体 的后验概率 第41页/共57页 Bayes判别准则为:若 则判样本 注：当达到最大后验概率的 不止一个时，可判 为达到最大后验概率的总体的任何一个. 2.多个正态总体的Bayes判别 (1)当 时，设 第42页/共57页 线性判别函数为 其中 基于误判损失相等的Bayes判别准则为 基于后验概率的Bayes判别准则为 其中 第43页/共57页 在实际问题中，由于 未知，各总体的训练样本均值 (2)当 不全相等时, 设 则基于后验概率的Bayes判别准则为 其中 未知， 估计. 第44页/