fisher准则线性分类器matlab,基于Fisher准则线性分类器设计.doc

基于Fisher准则的线性分类器设计

实验目的：

1. 进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识；

2. 理解Fisher准则方法确定最佳线性分界面方法的原理，以及乘子求解的原理。

1. PC微机一台和MATLAB软件。设有一个集合包含N个d维样本，其中个属于类，个属于类。线性判别函数的一般形式可表示成,其中。

根据Fisher选择投影方向的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向的函数为：

其中：

为类中的第个样本

为类内离散度，定义为：

为类间离散度，定义为：

上面的公式是使用Fisher准则求最佳法线向量的解，我们称这种形式的运算为线性变换，其中是一个向量，是的逆矩阵，如是维，和都是×维，得到的也是一个维的向量。

向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将维空间投影到一维空间的最佳投影方向，该向量的各分量值是对原维特征向量求加权和的权值。

以上讨论了线性判别函数加权向量的确定方法，并讨论了使Fisher准则函数极大的维向量的计算方法，但是判别函数中的另一项尚未确定，一般可采用以下几种方法确定如

或者

或当与已知时可用

当确定之后，则可按以下规则分类，

和二者的概率已知=0.6，=0.4。

中数据点的坐标对应一一如下：

=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974

0.2908 0.2518 0.6682 0.5622 0.9023 0.1333

-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315

0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655

0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152

0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099

=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155

2.0681 2.1213 2.4797 1.5118 1.9692 1.8340

1.8704 2.2948 1.7714 2.3939 1.5648 1.9329

2.2027 2.4568 1.7523 1.6991 2.4883 1.7259

2.0466 2.0226 2.3757 1.7987 2.0828 2.0798

1.9449 2.3801 2.2373 2.1614 1.9235 2.2604

=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536

0.6071 0.4439 0.4928 0.5901 1.0927 1.0756

1.0072 0.4272 0.4353 0.9869 0.4841 1.0992

1.0299 0.7127 1.0124 0.4576 0.8544 1.1275

0.7705 0.4129 1.0085 0.7676 0.8418 0.8784

0.9751 0.7840 0.4158 1.0315 0.7533 0.9548

数据点的对应的三维坐标为:

=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829

1.7632 1.9739 2.4152 2.5890 2.8472 1.9539

1.2500 1.2864 1.2614 2.0071 2.1831 1.7909

1.3322 1.1466 1.7087 1.5920 2.9353 1.4664

2.9313 1.8349 1.8340