本文使用 Zhihu On VSCode 创作并发布
0 前言
自动驾驶开发中经常涉及到多项式曲线拟合,本文详细描述了使用最小二乘法进行多项式曲线拟合的数学原理,通过样本集构造范德蒙德矩阵,将一元 N 次多项式非线性回归问题转化为 N 元一次线性回归问题,并基于线性代数 C++ 模板库——Eigen 进行了实现,最后,比较了几种实现方法在求解速度与求解精度上的差异。
1 最小二乘法概述
最小二乘法(Least Square Method,LSM)通过最小化误差(也叫残差)的平方和寻找数据的最优函数匹配。
假设给定一组样本数据集
,
内各数据点
来自于对多项式
的多次采样,其中:
-
为样本维度
-
为多项式阶数
-
为多项式的各项系数
针对样本数据集
内各数据点的误差平方和为:
最小二乘法认为,最优函数的各项系数
应使得误差平方和
取得极小值。最小二乘法与
极大似然估计有着密切的联系,关于最小二乘法的数学本质可参考文章《如何理解最小二乘法?》。
2 最小二乘法求解多项式曲线系数向量的数学推导
2.1 代数法
由于最优函数的各项系数
使得误差平方和
取得极小值,因而,对于最优函数而言,其误差平方和
对各多项式系i数
的偏导数应满足:
整理上式,
分别取