人工智能基础学习：Fisher判别的python推导和Fisher线性分类判断的理解

Fisher线性分类判断

Fisher线性判别函数是研究线性判别函数中最有影响的方法之一。对线性判别函数的研究就是从R.A.Fisher在1936年发表的论文开始的。
Fisher 线性判别函数的提出：在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，就是解决维数压缩问题。
对xn的分量做线性组合可得标量
yn=wTxn ,n=1,2,…,Ni
这样便得到N个一维样本yn组成的集合。从而将多维转换到了一维。
Fisher线性判别分析的基本思想：选择一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本尽可能聚集在一起，不同类的样本相隔尽可能地远。
Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值w0， 即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。

线性判别函数的一般形式可表示成$g(X)=W^{T}X+w_0)$ 其中
$$X=\left(\begin{array}{c}{x}_1\\ \\ ...\\ \\ x_d\end{array}\right)W=\left(\begin{array}{c}{w}_1\\ \\ w_2\\ \\ ...\\ \\ w_d\end{array}\right)$$