准则
采用一种分类形式后,就要采用准则来衡量分类的效果,最好的结果一般出现在准则函数的极值点上,因此将分类器的设计问题转化为求准则函数极值问题,即求准则函数的参数,如线性分类器中的权值向量。
分类器设计准则:FIsher准则、感知机准则、最小二乘(最小均方误差)准则
Fisher准则
Fisher线性判别分析LDA(Linearity Distinction Analysis)
基本思想:对于两个类别线性分类的问题,选择合适的阈值,使得Fisher准则函数达到极值的向量作为最佳投影方向,与投影方向垂直的超平面就是两类的分类面,使得样本在该方向上投影后,达到最大的类间离散度和最小的类内离散度。
Fisher线性判别并不对样本的分布进行任何假设,但在很多情况下,当样本维数比较高且样本数也比较多时,投影到一维空间后样本接近正态分布,这时可以在一维空间中用样本拟合正态分布,用得到的参数来确定分类阈值。
。。类间离差平方和最大,类内离差平方和最小的投影方向。准则函数:组间离差平方和/组内离差平方和;准则:超过阈值?
感知机准则
基本思想:对于线性判别函数,当模式的维数已知时,判别函数的形式实际上就已经确定下来,线性判别的过程即是确定权向量? 。感知机是一种神经网络模型,其特点是随意确定判别函数初始值,在对样本分类训练过程中,针对分类错误的样本不断进行权值修正,逐步迭代直至最终分类符合预定标准,从而确定权向量值。可以证明感知机是一种收敛算法,只要模式类别是线性可分的,就可以在有限的迭代步数里求出权向量的解。
优点:简单、便于实现。
缺点:结果不唯一,在线性不可分情况下不收敛。
。。给定初始权值向量,通过样本的训练分类过程逐渐修正权值直到最终确定。准则函数:错分样本数,准则:错分样本数为0
上述两个准则的区别和联系
Fisher线性判别是把线性分类器的设计分为两步,一是确定最优方向,二是在这个方向上确定分类阈值;感知机则是通过不断迭代直接得到完整的线性判别函数。
Fisher线性判别根据阈值选择投影方向达到预期分类效果,而感知机算法因为不是收敛算法,可能不能得到很好的分类结果。
最小二乘准则
基于最小二乘法求线性组合的权值
对于异常值非常敏感。