【模式识别】最小平方误差判别 MSE

最小平方误差判别准则函数

对于上一节提出的不等式组:


在线性不可分的情况下,不等式组不可能同时满足。一种直观的想法就是,希望求一个a*使被错分的样本尽可能少。这种方法通过求解线性不等式组来最小化错分样本数目,通常采用搜索算法求解。

为了避免求解不等式组,通常转化为方程组:


矩阵形式为:。方程组的误差为:,可以求解方程组的最小平方误差求解,即:

Js(a) 即为最小平方误差(Minimum Squared-Error,MSE)的准则函数:


准则函数最小化方法

准则函数最小化通常有两种方法:违逆法,梯度下降法。

伪逆法

Js(a) 在极值出对a的梯度为零,即:

于是,得到,其中是矩阵Y的伪逆。

一个具体的求解示例如下:


梯度下降法

梯度下降法在每次迭代时按照梯度下降方向更新权向量:


直到满足或者时停止迭代,ξ是事先确定的误差灵敏度。

参照感知器算法中的单步修正法,对MSE也可以采用单样本修正法来调整权向量:


这种算法即Widrow-Hoff算法,也称作最小均方根算法或LMS(Least-mean-square algorithm)算法。


(转载请注明作者和出处:http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途)



没有更多推荐了,返回首页