上篇介绍了样本线性可分下的Fisher判别,这篇开始介绍样本不可分下的判别--MSE。
最小平方误差(又叫最小二乘误差)判别是针对样本线性不可分的情况来讨论的,因此当样本不可分时,就有可能出现错分,就不可能所有样本都满足,对于这种问题,我们有一个约定,就是求解一个解向量使得出现错分的样本尽可能的少,换句话说,就是要通过解不等式组来是错分样本数最小化。
为了求解方便,引入常数向量,将不等式组,i=1,2,...,n转化为矩阵形式:
其中,,
注意,矩阵Y中的d是增广的样本向量的维数,即d=d+1。
1.准则函数
定义方程组的误差:
则平方误差为:
上式就是MSE判别的准则函数。
为了该准则函数最小化,有两种方法求解:梯度下降法和伪逆法
伪逆法:
给出梯度公式:令
得到的解:
其中,为Y的伪逆矩阵。
梯度下降法:
step1,t=0时刻,初始权向量;
step2,迭代更新权向量,根据梯度下降的方向:,直到。
与感知器的修正一样,也可以采用单步修正调整权向量:,其中yk是的样本,这样的修正算法叫做LMS算法(最小均方根算法)。
2.常数向量b的选择
不同的b会导致不同的判别结果,这里不打算介绍如何选择b,只给出几个已经证明过的相关定理。
p1:如果对应于同一类样本,都选择相同的bi,那么MSE的解等价于Fisher线性判别的解;
p2:如果对于所有样本都选择bi为1,即b是一个元素都为1的列向量,那么当样本数n趋于无穷大时,MSE的解就是贝叶斯判别函数的最小平方误差逼近;