模式识别（Pattern Recognition）学习笔记（十）--最小平方误差判别（MSE）

转载出处：http://blog.csdn.net/eternity1118_。

上篇介绍了样本线性可分下的Fisher判别，这篇开始介绍样本不可分下的判别--MSE。

      最小平方误差（又叫最小二乘误差）判别是针对样本线性不可分的情况来讨论的，因此当样本不可分时，就有可能出现错分，就不可能所有样本都满足，对于这种问题，我们有一个约定，就是求解一个解向量使得出现错分的样本尽可能的少，换句话说，就是要通过解不等式组来是错分样本数最小化。

为了求解方便，引入常数向量，将不等式组，i=1，2，...,n转化为矩阵形式：

其中，，

注意，矩阵Y中的d是增广的样本向量的维数，即d=d+1。

1.准则函数

        定义方程组的误差：

则平方误差为：

上式就是MSE判别的准则函数。

       为了该准则函数最小化，有两种方法求解：梯度下降法和伪逆法

伪逆法：

给出梯度公式：令

得到的解：

其中，为Y的伪逆矩阵。

梯度下降法：

step1，t=0时刻，初始权向量；

step2，迭代更新权向量，根据梯度下降的方向：，直到。

       与感知器的修正一样，也可以采用单步修正调整权向量：，其中yk是的样本，这样的修正算法叫做LMS算法（最小均方根算法）。

2.常数向量b的选择

      不同的b会导致不同的判别结果，这里不打算介绍如何选择b，只给出几个已经证明过的相关定理。

p1：如果对应于同一类样本，都选择相同的bi，那么MSE的解等价于Fisher线性判别的解；

p2：如果对于所有样本都选择bi为1，即b是一个元素都为1的列向量，那么当样本数n趋于无穷大时，MSE的解就是贝叶斯判别函数的最小平方误差逼近；