java 多项式拟合最多的项数_[数值计算] 数据拟合——线性最小二乘法

前面提到的多项式拟合方法都是有n个数据点，这个多项式就是n-1阶。就像下面这个链接里的“例子2：多项式插值”，求解Ab=y。此时A是一个可逆方阵。

YcoFlegs：[数值计算] 条件数​zhuanlan.zhihu.com

1. Over-constrained System

但是如果已知数据存在误差，那么如果精确拟合反而会overfitting。此时可以刻意选择一个更小的多项式阶数，如果就用最简单的monomial basis的话，需要求解的问题变成

其中

是已知数据的input x，

是参数向量，

是已知数据的output。

定义残差residual为

一种非常有效的优化方法是，最小二乘法：找到一组参数b，使得

最小，具体形式为：

最后第二行中间两项相等，是因为

，而且这个计算结果是个有理数

。

注意，此处因为

是b的二次函数，而且非负，所以必然存在最小值。但不一定是唯一解，比如

，与

无关。

最小化

等价于梯度为零

这组方程叫正规方程组 Normal equations

其中

奇异 当且仅当

是非满秩 rank-deficient矩阵（即，不是所有的列都是线性独立的）

在线性代数中，一个矩阵A 的列秩是 A 的线性无关的纵列的极大数目。类似地，行秩是 A 的线性无关的横行的极大数目。矩阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵 A 的秩。
wikipedia 秩 (线性代数)

因此理论上最后一步只需要把正规方程组左边的

移到等式右侧，即：

其中

被称为是 伪逆 Pseudoinverse，记作

这里有一个例子：

用11阶的多项式拟合50个samples的

（代码）

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

其中least sq.是调用np的库的结果，normal是用正则方程组求解的结果。

理论很美好，在小数据量的时候没问题，然而直接使用正规方程组求解会在数据量大(e.g. data size > 100)的时候不稳定numerically unstable。原因是 需要对

求逆，而A我们都知道是Vandermonde矩阵的一部分，本身就是poorly conditioned，而

只会更糟糕。解决的方法是使用QR分解，这也是Python MATLAB求解

线性最小二乘 问题的方法。

对动手操作感兴趣的可以看下这个作业题的第五题：

AM205: Assignment 1​iacs-courses.seas.harvard.edu

题目大意是用三张不正常的图片去拟合一个线性模型，组合成右下角那个正常的图片。比较有趣的一点是，这里的A矩阵是一个3阶张量，而不是上面推导中的矩阵，因为图片有RGB 3层。但做起来思路是一样的，只不过把矩阵点乘和转置 换成 张量的点乘和转置。

2. Underdetermined System

和数据量大于参数量的情况相反，另一种情况是，参数量多于数据量，因此已知条件过少。

中的各个矩阵形状如下：

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

同样是求解正规方程组

， 但此时因为此时

，

的rank最大为m（m<n），此时

一定奇异。

一种解决方法是 用拉格朗日乘子，

。注意这个和前面的Eq.4形式有细微的差别。此处的伪逆是

，满足

。因此被称为右逆right inverse，详细可以参考MIT OCW的线代note和video。

Lecture 33: Left and right inverses; pseudoinvers​ocw.mit.edu

另一种简单一点的思路是 加正则项。目标函数现在是

其中

，

依旧是

的套路，此时结果是：

可以通过选择S的形式来满足

可逆。比如取

。

还是以函数

在

区间上为例，取5个点，然后拟合一个11阶的多项式。

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

（拟合效果不错）

（条件数太大了）

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

（拟合效果很差）

（条件数比较小）

• ：对高阶项的系数更多的惩罚

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

（拟合效果很差）

（条件数也比较大小）

• 拉格朗日乘子（突然冒出来）说，其实它的效果更好：

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/