最小二乘法多项式曲线拟合数学原理及其C++实现

0 前言

自动驾驶开发中经常涉及到多项式曲线拟合，本文详细描述了使用最小二乘法进行多项式曲线拟合的数学原理，通过样本集构造范德蒙德矩阵，将一元 N 次多项式非线性回归问题转化为 N 元一次线性回归问题，并基于线性代数 C++ 模板库——Eigen 进行了实现，最后，比较了几种实现方法在求解速度与求解精度上的差异。

1 最小二乘法概述

最小二乘法（Least Square Method，LSM）通过最小化误差（也叫残差）的平方和寻找数据的最优函数匹配。

假设给定一组样本数据集 $P(x,y)$，$P$ 内各数据点 $P_i(x_i,y_i)(i=1,2,3,...,m)$ 来自于对多项式

$$f(x_i)={\theta }_0+{\theta }_1{x}_i+{\theta }_2{x}_i^2+\cdot \cdot \cdot +{\theta }_n{x}_i^n$$

的多次采样，其中：

• $m$ 为样本维度
• $n$ 为多项式阶数
• ${\theta }_j(j=1,2,3,...,n)$ 为多项式的各项系数

针对样本数据集 $P$ 内各数据点的误差平方和为：

$$S=\sum _{i=1}^m[f(x_i)-y_i{]}^2$$

最小二乘法认为，最优函数的各项系数 ${\theta }_j(j=1,2,3,...,n)$ 应使得误差平方和 $S$ 取得极小值。最小二乘法与极大似然估计有着密切的联系，关于最小二乘法的数学本质可参考文章《如何理解最小二乘法？》。

2 最小二乘法求解多项式曲线系数向量的数学推导

2.1 代数法

由于最优函数的各项系数 ${\theta }_j(j=1,2,3,...,n)$ 使得误差平方和 $S$ 取得极小值，因而，对于最优函数而言，其误差平方和 $S$ 对各多项式系i数 ${\theta }_j(j=1,2,3,...,n)$ 的偏导数应满足：

$$\frac{\partial S}{\partial {\theta }_j}=\sum _{i=1}^m[2({\theta }_0+{\theta }_1{x}_i+{\theta }_2{x}_i^2+\cdot \cdot \cdot +{\theta }_n{x}_i^n-y_i)x_i^j]=0$$

整理上式，$j$ 分别取 $0,1,2,...,n$ 时，有：

$$⎩$$