模式识别（Pattern Recognition）学习笔记（十四）--多类线性判别函数

转载出处：http://blog.csdn.net/eternity1118_。

模式识别（Pattern Recognition）学习笔记（十四）--多类线性判别函数

如有错误还请海涵，多谢。。

        首先，将多类线性判别函数记为：

       按照上一节学习的多类分类器的设计思想，很明显对于c类问题，就有c个判别函数：

           （1）

如果哪一类的判别函数最大，就决策为哪一类：

if   ，then           （2）

表示为增广形式：

                          （3）

其中，增广权向量：

        接下来，求解上述线性判别函数，同之前学习感知器等时一样的分析方法，分为样本线性可分和线性不可分的情况：

线性可分的情况：

（1）初始化初始权向量，

（2）考察某个样本，如果，则保持所有权向量不变；反之，若存在某个类，使得，则选择较大的类别，并对各类的权向量作如下修正更新：

其中，是修正步长，必要时可以随着时间t而改变。

（3）若所有样本都分类无误，则停止算法；否则对下一个样本跳到（2），继续。

       这是一种逐步（单步）修正算法，并且在样本线性可分下，总能够在有限步收敛到一组解向量。

线性不可分的情况：

       对于这种情况，算法并不能有效的收敛，需要人为调整参数使得算法在一个可接受的解上停止，或者通过缩小步长强制算法收敛。

       至此，我们就学习完了有关线性分类器的相关知识，线性判别函数虽然简单，但是却能在一定条件下实现或逼近最优分类器，因此广泛被应用，因为毕竟实际研究中，我们的样本数目有限，所以很多时候尽管遇到非线性问题，我们仍然可以用线性问题来求解，甚至很多研究者会认为线性分类器有时候会比复杂分类器效果更好，尤其是更好的推广能力。

      正所谓，世界是非线性的，但是却可以用线性来近似。

      另外，由于大多数多类分类算法在实际应用中并不多，所以后续会学习一些比较著名的被广为人知的，并且应用多的多类算法。