转载出处:http://blog.csdn.net/eternity1118_。
模式识别(Pattern Recognition)学习笔记(十四)--多类线性判别函数
如有错误还请海涵,多谢。。
首先,将多类线性判别函数记为:
按照上一节学习的多类分类器的设计思想,很明显对于c类问题,就有c个判别函数:
(1)
如果哪一类的判别函数最大,就决策为哪一类:
if ,then
(2)
表示为增广形式:
(3)
其中,增广权向量:
接下来,求解上述线性判别函数,同之前学习感知器等时一样的分析方法,分为样本线性可分和线性不可分的情况:
线性可分的情况:
(1)初始化初始权向量,
(2)考察某个样本,如果
,则保持所有权向量不变;反之,若存在某个类
,使得
,则选择较大的类别
,并对各类的权向量作如下修正更新:
其中,是修正步长,必要时可以随着时间t而改变。
(3)若所有样本都分类无误,则停止算法;否则对下一个样本跳到(2),继续。
这是一种逐步(单步)修正算法,并且在样本线性可分下,总能够在有限步收敛到一组解向量。
线性不可分的情况:
对于这种情况,算法并不能有效的收敛,需要人为调整参数使得算法在一个可接受的解上停止,或者通过缩小步长强制算法收敛。
至此,我们就学习完了有关线性分类器的相关知识,线性判别函数虽然简单,但是却能在一定条件下实现或逼近最优分类器,因此广泛被应用,因为毕竟实际研究中,我们的样本数目有限,所以很多时候尽管遇到非线性问题,我们仍然可以用线性问题来求解,甚至很多研究者会认为线性分类器有时候会比复杂分类器效果更好,尤其是更好的推广能力。
正所谓,世界是非线性的,但是却可以用线性来近似。
另外,由于大多数多类分类算法在实际应用中并不多,所以后续会学习一些比较著名的被广为人知的,并且应用多的多类算法。