最小二乘法拟合任意连续曲线推导

最小二乘法详细推导过程

假设给定一些列散列值(训练数据集)记为:
$$D=(x_1,y_1),(x_2,y_2),(x_3,y_3)...(x_n,y_n)$$
需要找到找到一个函数:
$$y=f(x)=ax+b$$
使得$f(x)$函数尽可能拟合$D$,也就是需要找到一个$a$和$b$的值，使得将数据集全部带入到$f(x)$中，让等式左边和右边的误差值最小：
$$\{\begin{array}{l}a{x}_1+b=y_1\\ a{x}_2+b=y_2\\ a{x}_3+b=y_3\\ ......\\ a{x}_n+b=y_n\end{array}$$
由此，可以将问题转换为让以下函数的值最小：
$$\delta (a,b)=\sum _{i=1}^n(a{x}_i+b-y_i{)}^2$$
我们的目标就是最小化这个误差函数，即为:
$$min\delta (a,b)=min\sum _{i=1}^n(a{x}_i+b-y_i{)}^2$$

由于二次方程为开口向上的凹函数，因此，在$\delta (a,b)$导数为0处方程取的最小值，则问题转换为解方程组：

$$\{\begin{array}{l}\frac{\Delta \delta (a,b)}{\Delta a}=2\ast \sum _{i=1}^n[(a{x}_i+b-y_i)\ast x_i]=0\\ \\ \frac{\Delta \delta (a,b)}{\Delta b}=2\ast \sum _{i=1}^n(a{x}_i+b-y_i)=0\end{array}$$
经过转换,可得到：

$$\{\begin{array}{l}[\sum _{i=1}^n{x}_i^2]a+[\sum _{i=1}^n{x}_i]b=\sum _{i=1}^n{x}_i\ast y_i\\ \\ [\sum _{i=1}^n{x}_i]a+nb=\sum _{i=1}^n{y}_i\end{array}$$
系数行列式(通过行列式进行求解)：

{ D = ∣ ∑ i = 1 n x i 2 ∑ i = 1 n x i ∑ i = 1 n x i n ∣ D x = ∣ ∑ i = 1 n x i ∗ y i ∑ i = 1 n x i ∑ i = 1 n y i n