【应用多元统计分析】CH5 判别分析4——费希尔判别

本文详细介绍了费希尔判别的基本思想、判别函数及其寻找方法,强调了降维在判别分析中的作用。通过实例展示了如何使用费希尔判别函数得分图进行直观的样本归属判断,并探讨了判别规则,特别是在两组情况下的应用。内容涵盖费希尔判别在数据分类和降维中的重要性及其局限性。
摘要由CSDN通过智能技术生成

目录

一、费希尔判别的基本思想

二、费希尔判别函数

1.函数寻找

2.函数特点

三、判别函数得分图

1.概念

2.【例5.4.2】

3.【注】

四、判别规则

1.一般情形

2.两组情形


一、费希尔判别的基本思想

        费希尔判别基本思想是投影(或降维),用p维向量x=(x_{1},\cdots,x_{p})^{'}的少数几个线性组合(称为费希尔判别函数典型变量y_{1}=a_{1}^{'}x,\cdots,y_{r}=a_{r}^{'}x(一般r明显小于p)来代替原始的p个变量x_{1},x_{2},\cdots,x_{p},以达到降维的目的,并根据这r个判别函数y_{1},\cdots,y_{r}对样品的归属作出判别或将各组分离。成功的降维将使样品的归类或组的分离更为方便和有效,并且可以对前两个或前三个判别函数作图,从直观的几何图形上区别各组。

        一个说明性的例子。

二、费希尔判别函数

1.函数寻找

        设来自组\pi_{i}p维观测值为x_{ij},j=1,\cdots,n_{i},i=1,2,\cdots,k,将他们共同投影到某一p维常数向量a上,得到的投影点可分别对应线性组合

y_{ij}=a^{'}x_{ij},j=1,\cdots,n_{i};i=1,\cdots,k

\left\{\begin{matrix} \bar{y_{i}}=\frac{1}{n_{i}}\sum_{j=1}^{n_{i}}y_{ij}=a^{'}\bar{x_{i}}\\ \bar{y}=\frac{1}{n}\sum_{i=1}^{k}\sum_{j=1}^{n_{i}}y_{ij}=\frac{1}{n}\sum_{i=1}^{k}n_{i}\bar{y_{i}}=a^{'}\bar{x}\\ n=\sum_{i=1}^{k}n_{i}\\ \bar{x_{i}}=\frac{1}{n_{i}}\sum_{j=1}^{n_{i}}x_{ij}\\ \bar{x}=\frac{1}{n}\sum_{i=1}^{k}n_{i}\bar{x_{i}} \end{matrix}\right.

        费希尔判别需假定{\color{Red} \Sigma _{1}=\Sigma _{2}=\cdots=\Sigma _{k}=\Sigma }

        三组之间的分离程度:

        y_{ij}组间平方和组内平方和为:

SSTR=\sum_{i=1}^{k}n_{i}(\bar{y}_{i}-\bar{y})^2=\sum_{i=1}^{k}n_{i}(a^{'}\bar{x}_{i}-a^{'}\bar{x})^2=a^{'}Ha

SSE=\sum_{i=1}^{k}\sum_{j=1}^{n_{i}}(y_{ij}-\bar{y}_{i})^2=\sum_{i=1}^{k}\sum_{j=1}^{n_{i}}(a^{'}\bar{x}_{ij}-a^{'}\bar{x})^2=a^{'}Ea

H=\sum_{i=1}^{k}n_{i}(\bar{x}_{i}-\bar{x})(\bar{x}_{i}-\bar{x})^{'}

  • 5
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当我们要对一个样本进行分类时,Fisher判别函数可以帮助我们找到一个最佳的分类边界。假设我们有两类样本,每个样本有两个特征,我们可以使用Fisher判别函数来确定一个最佳分类边界。 让我们来看一个手算的例题。假设我们有以下样本数据: 类别1: (2, 4) (3, 6) (4, 4) (5, 7) 类别2: (1, 2) (2, 3) (3, 1) (4, 3) 我们需要按照以下步骤计算Fisher判别函数: 步骤1: 计算每个类别的均值向量 类别1的均值向量 m1: m1 = ( (2+3+4+5)/4 , (4+6+4+7)/4 ) = (3.5, 5.25) 类别2的均值向量 m2: m2 = ( (1+2+3+4)/4 , (2+3+1+3)/4 ) = (2.5, 2.25) 步骤2: 计算类内散布矩阵 Sw Sw = Σi=1 to N (xi - mi) * (xi - mi)^T 其中,xi 是一个样本向量,mi 是对应类别的均值向量,N 是每个类别的样本数量。 类别1的类内散布矩阵 Sw1: Sw1 = (2-3.5, 4-5.25) * (2-3.5, 4-5.25)^T + (3-3.5, 6-5.25) * (3-3.5, 6-5.25)^T + (4-3.5, 4-5.25) * (4-3.5, 4-5.25)^T + (5-3.5, 7-5.25) * (5-3.5, 7-5.25)^T 类别2的类内散布矩阵 Sw2: Sw2 = (1-2.5, 2-2.25) * (1-2.5, 2-2.25)^T + (2-2.5, 3-2.25) * (2-2.5, 3-2.25)^T + (3-2.5, 1-2.25) * (3-2.5, 1-2.25)^T + (4-2.5, 3-2.25) * (4-2.5, 3-2.25)^T 步骤3: 计算类间散布矩阵 Sb Sb = (m1 - m2) * (m1 - m2)^T Sb = (3.5-2.5, 5.25-2.25) * (3.5-2.5, 5.25-2.25)^T 步骤4: 计算 Fisher判别函数的权重向量 w w = S^-1w * (m1 - m2) 其中, S^-1w 是 Sw的逆矩阵。 步骤5: 计算 Fisher判别函数的阈值 b b = - (w^T * m1 + w^T * m2) / 2 步骤6: 使用 Fisher判别函数进行分类 对于一个新的样本 x,计算 y = w^T * x + b,如果 y > 0,则将 x 分类为类别1,否则将 x 分类为类别2。 希望这个例题对你有所帮助!如果你有其他问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值