实验三 基于Fisher准则线性分类器设计

一、实验目的

本实验旨在进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解 Fisher 准则方法确定最佳线性分界面方法的原理，以及 Lagrande 乘子求解的原理。

二、实验原理

线性判断函数的一般形式可表示为

其中

根据Fisher选择投影方向w的原则，即使原样本向量在该方向的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向w的准则函数为

其中,、分别是一维投影上两类样本的均值，、分别是一维投影上两类样本的类内离散度，可以由下面两个公式计算得到。

其中是d维样本向量空间第i类的均值向量，是第i类的类内离散度矩阵。

使得为最大值的w就是要求的最佳投影向量，其表达式如下

式（3.5）是使用Fisher准则，求最佳法线向量的解，利用求得的对样本向量进行如式（3.1）所示变换。在式（3.5）中，是d维样本向量空间两类均值向量的差，结果是一个d维向量；是的逆矩阵，其中是d维样本向量空间总的类内离散度矩阵，是一个维矩阵，也是维矩阵，这样式（3.5）计算得到的也是一个d维的向量。类内总离散度矩阵，其中:

在、已知时，判别函数式（3.1）中的确定方法如下，

这里阈值点。式（3.7）是根据投影后两类样本均值之间的平均距离来确定阈值点的，式（3.8）既考虑了投影后样本均值之间的平均距离，又考虑了两类样本的容量大小作为阈值位置的偏移修正。式(3.9)使用了先验概率，可以使分类误差尽可能小。

当阈值点确定后，可按如下规则进行分类：

Fisher准则进行分类器的设计步骤：

1. 选择训练样本向量根据Fisher准则，计算得到最佳投影方向;
2. 对输入的训练样本向量进行线性映射，并设定阈值点;
3. 计算未知样本的投影，根据式（3.9）对样本的类别进行判断，实现分类。

 

三、实验原始记录

基于Fisher准则线性分类器设计-深度学习文档类资源-CSDN文库https://download.csdn.net/download/qq_56870342/87250862

四、实验结果及分析

 根据最佳投射方向的计算公式，求解出 = （-0.36，0.91，-0.22）。在该方向上，原样本向量在其上的投影既能类间分布尽可能分开，又能使类内样本投影尽可能密集。

 根据已知阈值点时所属类别的判断方法，可以计算出下表所示结果。其在最佳投射方向上的投影如上图所示。

x	1	1.2	2	1.2	0.23
y	1.5	1	0.9	1.5	2.33
z	0.6	0.55	0.68	0.89	1.43
所属类别	1	2	2	2	1

w的比例因子对Fisher判别函数没有影响。