平房误差函数_最小平方误差准则函数.ppt

最小平方误差准则函数

最小平方误差准则函数(MSE, Minimum Squared-Error) 准备知识 模式识别：是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。 统计模式识别方法：又称决策论方法，采用特征向量表示模式。以样本在特征空间中的具体数值为基础。 线性判别函数是在特征提取完成之后，在特征空间对模式进行分类的方法之一。它既是统计模式识别中的一个重要的基本方法，也是研究统计模式识别方法的基础。 如何得到线性判别函数？ 对一个判别函数来说，应该被确定的有两个内容：其一为方程的形式，其二为方程所带的系数。对于线性判别函数来说，方程的形式为线性的，方程的维数为特征向量的维数，方程组的数量决定于待判别对象的类数。 i = 1,2,......,C 这里 Y称为增广特征向量(n +1维)，A称为广义权向量，如此则有： 最小平方误差准则函数背景 既然方程组的数量、维数和形式已定，则判别函数的设计就是确定函数的各系数，也就是线性方程的各权值。 感知准则函数、梯度下降法、固定增量算法、最小平方误差准则函数等都是求取线性方程的各权值的方法。 但是无论感知准则函数和梯度下降法，还是固定增量算法，都只适用于线性可分情况。但实际中往往无法确定样本集是否线性可分。因此希望找到一种方法能够对两种情况都适用。既对线性可分问题可以找到将全部样本正确分类的解权向量，又对线性不可分问题能够找到一个使误差平方和极小的解权向量。满足这样要求的准则函数就是最小平方误差准则函数。 平方误差准则函数及其伪逆解 对于一个具有n个学习样本的两类问题，希望找到一个权向量A，使得 ， i = 1,2,......,n得到满足，将上述不等式改成等式的形式 i = 1,2,......,n 其中bi是任意给定的正常数，将上式写为联立方程组的形式即为： 其系数矩阵Y及常向量B为 其中 是d维规范化增广样本向 量，Y为 矩阵，n为样本个数，d为特征数。 假如Y是非奇异矩阵，则我们可以得到解 但在大多数情况下样本数n总是大于维数d，方程个数多于未知数，这是一个矛盾方程组，通常没有精确解存在。但我们可以定义一个误差向量 并定义平方误差准则函数 然后找一个使 极小化的A作为问题的解，这就是矛盾方程组的最小二乘近似解，也称为伪逆解或MSE解， 称为MSE准则函数。 用解析法求伪逆解 准则函数对A求导得: 令 取极小，得 这里。我们将解 的问题转化为 的问题。这里 是一个 方阵，一般是非奇异的，故可以有唯一解 此处 称为Y的伪逆，A为MSE解。 MSE解具有的优越特性 由MSE的解可知，解A依赖于向量B的值，可以证明，若 ，选取 ，反之 在线性可分情况下，MSE解与Fisher线性判别函数等价。若选取全部 当 ，MSE解与贝叶斯决策解之间的均方误差达到极小，即MSE解得到的判别函数以最小均方误差逼近贝叶斯判别函数。因此MSE解通常具有比较优越的性能(这里的n为总的样本数，n1是属于w1类的样本数，n2是属于w2类的样本数)。 例：设有两类的二维点： 试求伪逆解及判决边界。 解：增广规范化样本为 取 得到解决策边界方程为 即 如果选择其他的B，自然会得到不同的判决边界。 MSE准则函数的梯度下降算法 前面得到的MSE解 需要求伪逆