关闭

最小二乘法学习

标签: 优化数学模式识别算法
258人阅读 评论(0) 收藏 举报
分类:

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
作用(可解决问题):
(1)可用作回归分析,匹配最佳的未知参数
(2)使求得的数据与实际数据之间误差的平方和为最小,可实现最佳匹配——应用于模式识别
(3)最小化误差可用于曲线拟合
(4)求解优化问题,如最小化能量或最大化熵问题

下面我们来看第一个实际的例子,可涉及到讲述:求取未知参数(回归系数的最小二乘估计)、寻找两个变量之间的关系(回归分析)、最小化误差平方和的最佳匹配。
例1.测16名初中男生的身高与腿长所得数据如下:
这里写图片描述
以身高x为横坐标,以腿长y为纵坐标将这些数据点(xi,yi)在平面直角坐标系上标出.
这里写图片描述
一般地,称由 这里写图片描述确定的模型为一元线性回归模型,
记为这里写图片描述
固定的未知参数 beta0、beta1 称为回归系数,自变量x也称为回归变量,这里写图片描述是误差项。

最小二乘法就是选择这里写图片描述使得误差这里写图片描述的平方最小:min = 这里写图片描述。通过上式即可求得未知参数beta0和beta1的近似值。

下面来看第二个例子,利用最小二乘法实现曲线拟合问题。
在科学实验中,经常需要从一组实验数据( xi,yi)出发,求函数y=f(x)的一个近似表达式y=t(x)(通常称为经验公式)。从几何上看,就是通过给定m个数据点,求曲线y=f(x)的一条近似曲线y=t(x)使这条曲线尽可能与所给的m个点相吻合。该方法本质上与回归分析是一致的。

例2:已知一组(二维)数据,即平面上的n个点(xi,yi), i = 1,2,3,…,n, xi互不相同, 寻求一个函数(曲线)y = f(x),使f(x)在某种准则下与所有数据点最为接近,即曲线拟合得最好,如图:
这里写图片描述
利用最小二乘法公式完成拟合。

下面再来看第三个例子,利用误差的平方和为最小,实现最佳匹配——应用于简单的模式识别问题。

例3. 无线通信系统中,测得一段真实信道的测量结果,数据为data(17700*100),此时判断此处提供另外两个样本X1(200*100)、X2(200*100),是否采集自上述中所提供的路段。对于已判断出的采自上述路段的样本,请识别其对应于data数据中的哪一块区域。

针对此问题即可首先提取出该问题的特征,比如方差或者能量,计算出各段的特征,然后利用最小二乘法完成最小化误差平方和即可判定出数据集归属于哪一段。

1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:8352次
    • 积分:172
    • 等级:
    • 排名:千里之外
    • 原创:8篇
    • 转载:7篇
    • 译文:0篇
    • 评论:1条
    文章存档
    最新评论