机器学习之Fisher线性分类器实现样本分类

本次实验是本科阶段人工智能实验课的一个实验，当时划水没有仔细做，现在回来再实践一下。

1.Fisher分类器的基本原理

若把样本的多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。那么关
键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。因此 Fisher 方法目标
就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。这个投影变换恰是我们
所寻求的解向量 ，这是 Fisher算法的基本问题。
样本训练集以及待测样本的特征数目为 n。为了找到最佳投影方向，需要计算出各类均
值、样本类内离散度矩阵 和总类间离散度矩阵、样本类间离散度矩阵，根据 Fisher 准则，
找到最佳投影准则，将训练集内所有样本进行投影，投影到一维 Y 空间，由于 Y 空间是一维
的，则需要求出 Y 空间的划分边界点，找到边界点后，就可以对待测样本进行一维 Y 空间的
投影，判断它的投影点与分界点的关系，将其归类。

2.实现步骤

3.实验内容

利用 LDA 进行一个分类的问题：假设一个产品有两个参数柔软性 A 和钢性 B来衡量它是否合格，如下图所示：

根据上图，我们可以把样本分为两类，一类是合格的产品，一类是不合格的产品。通过LDA 算法对训练样本的投影获得判别函数，然后判断测试样本的类别，即输入一个样本的参数，判断该产品是否合格。
1.所需库函数

import math
import numpy as np