python 最小二乘法_最小二乘法的数值计算

（建议阅读原文）

预备知识　最小二乘法， Nelder-Mead 算法

　　 我们在 “最小二乘法” 中见到的三个例子中， 方差函数都是待定系数的线性组合， 这种情况下我们令偏导为零后得到的是线性方程组， 便于求解． 然而当方差不是待定系数的线性组合时， 得到的方程组往往非常复杂， 这时就需要借助数值计算． 相比用数值计算解 N 元的非线性方程组， 更简单的方法是直接用数值方法寻找方差函数的极小值（如 Nelder-Mead 算法） ． 实践证明， 大多数情况下极小值点仅有一个， 那就是最小值点．

　　 为了验证结果的正确性， 我们先来用数值方法拟合

， 并与“最小二乘法” 中的方法比较结果．

图1：运行结果

curveFit.m

function curveFit
close all;
% 随机生成简谐曲线
N = 20;
x0 = linspace(0, 2*pi, N);
y0 = 5*rand * sin(x0 + 2*pi * rand) &