python 最小二乘法_什么是曲线拟合的最小二乘法?

最小二乘法最早可以追溯到 19 世纪早期. 1801 年新年的晚上, 意大利天文学家皮亚齐发现了第一颗小行星(后来被命名为谷神星). 跟踪观测 40 天后, 找不见了.

皮亚齐

天文学界对这一发现看法不一, 争论数月未见分晓. 此事引起了德国数学家高斯的注意. 高斯根据皮亚齐的观测数据, 利用最小二乘法算出了谷神星的轨道形状, 并推算出它将于何时何地再次出现.

高斯

1801 年的最后一天深夜, 奥地利天文学家奥伯斯, 在高斯预言的时间里, 用望远镜对准了高斯指出的那片天空, 果然奇迹般地发现了那颗谷神星.

奥伯斯

高斯使用的最小二乘法在 1809 年发表于他的著作《天体运动论》中.

那么什么是最小二乘法? 高斯是怎么用最小二乘法找到谷神星的呢?

1. 曲线拟合的最小二乘法

1.1 插值与拟合

在工程应用和科学研究中, 经常需要研究变量之间的函数关系 . 但对于函数 , 我们不知道具体的解析表达式, 只能通过观测和实验得到的一组数据  . 我们希望能通过这组数据来得到变量之间的函数关系.

解决这个问题通常有两种方法: 插值和拟合.

• 插值就是找一个比较简单的函数  使得

插值

即使  的函数曲线严格通过每个数据点.

• 拟合也是找一个比较简单的函数 , 但是不要求函数曲线严格通过各个数据点, 只要求在给定点上的误差按某种标准最小.

拟合

当数据点非常多或采集的数据存在误差时, 拟合的方法更为合理. 这就是我们今天要讨论的曲线拟合问题.

1.2 曲线拟合的最小二乘法

准确地讲, 曲线拟合就是给定一些数据点

求比较简单的函数  使得残量

按某种标准最小, 若记 , 就是要求向量  的范数最小. 最常用的范数有

• -范数:  ;
• 1-范数: ;
• 2-范数:  .

采用不同的范数就得到不同的曲线拟合类型, 其中最常用的是 -范数. 用 2-范数  作为误差的标准进行曲线拟合的方法称为「最小二乘法」, 它使数据点到曲线的误差平方和达到最小.

若拟合函数可表示为一组基函数的线性组合, 只需求组合系数, 这种问题称为「线性最小二乘问题」.

❝

「线性最小二乘问题」:
给定一组数据

在函数空间  中找一个函数 , 使得误差平方和

达到最小. 其中 .

❞

1.3 最小二乘问题的矩阵形式

为了研究方便, 我们把线性最小二乘问题写成矩阵形式. 因为

(若公式显示不全, 可左右滑动)

记

(若公式显示不全, 可左右滑动)

则 . 注意这里  是已知的, 它是一个  的矩阵, 它的  元 就是基函数  在点  处的取值;  是一个  维向量, 也是已知的. 因此线性最小二乘问题就转化为

❝

「线性最小二乘问题的矩阵形式」:
已知 , , 求  使得

达到最小.

❞

那么怎么求解线性最小二乘问题呢? 下期接着讲.