线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则...

准则

采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。

分类器设计准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则

Fisher准则

Fisher线性判别分析LDA（Linearity Distinction Analysis）
基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得Fisher准则函数达到极值的向量作为最佳投影方向，与投影方向垂直的超平面就是两类的分类面，使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。 
Fisher线性判别并不对样本的分布进行任何假设，但在很多情况下，当样本维数比较高且样本数也比较多时，投影到一维空间后样本接近正态分布，这时可以在一维空间中用样本拟合正态分布，用得到的参数来确定分类阈值。 

。。类间离差平方和最大，类内离差平方和最小的投影方向。准则函数：组间离差平方和/组内离差平方和；准则：超过阈值？

感知机准则

基本思想：对于线性判别函数，当模式的维数已知时，判别函数的形式实际上就已经确定下来，线性判别的过程即是确定权向量?   。感知机是一种神经网络模型，其特点是随意确定判别函数初始值，在对样本分类训练过程中，针对分类错误的样本不断进行权值修正，逐步迭代直至最终分类符合预定标准，从而确定权向量值。可以证明感知机是一种收敛算法，只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量的解。

优点：简单、便于实现。 
缺点：结果不唯一，在线性不可分情况下不收敛。

。。给定初始权值向量，通过样本的训练分类过程逐渐修正权值直到最终确定。准则函数：错分样本数，准则：错分样本数为0

上述两个准则的区别和联系

Fisher线性判别是把线性分类器的设计分为两步，一是确定最优方向，二是在这个方向上确定分类阈值；感知机则是通过不断迭代直接得到完整的线性判别函数。

Fisher线性判别根据阈值选择投影方向达到预期分类效果，而感知机算法因为不是收敛算法，可能不能得到很好的分类结果。

最小二乘准则

基于最小二乘法求线性组合的权值

 对于异常值非常敏感。

转载于:https://www.cnblogs.com/z-sm/p/5109729.html