最小二乘法求解直线方程系数

引言

最小二乘法是经典的参数稳健估计方法。核心思想是使得估计出的模型与实际数据之间误差的平方和最小（趋于0）。直线参数的估计又是最常用的曲线参数估计，稳健估计方法有很多：RANSAC、BaySAC、极大似然法等，这篇博文主要讲解如何使用最小二乘法估计直线参数。

一群离散观测点，及其最小二乘估计直线方程

直线方程最优拟合

直线方程的形式比较多，粗略统计有10种之多，如：一般式、点斜式、截距式、斜截式$\cdots$。本博文采用直线斜截式，最小二乘拟合其方程系数。
斜截式：$y = kx+b$，适用于不垂直于$x$轴的直线。

1. 斜率为$k$
   • $y$轴截距为$b$

   • 根据最小二乘原理，误差平方和最小，得误差函数：$f=\sum_{i=1}^{n}(y_i-k*x_i-b))^2=0$。高数中极值定理可知，误差方程一阶导数等于0处取得极值，因此分别对其关于$k$和$b$求导，解$k,b$值使得误差函数取最小值。但是直线斜截式无法表示垂直$x$轴的直线，如：$x=3$。

     $$\begin{cases} \frac{\partial f}{\partial k}=\sum_{i=1}^n[(y_i-kx_i-b)x_i]=0\\ \frac{\partial f}{\partial b}=\sum_{i=1}^n(y_i-kx_i-b)=0 \end{cases}$$
     $$\begin{cases} \sum_{i=1}^n(x_iy_i)-k\sum_{i=1}^n(x_i^2)-b\sum_{i=1}^n(x_i)=0\\ \sum_{i=1}^n(y_i)-k\sum_{i=1}^n(x_i)-nb=0 \end{cases}$$

     令，$A=\sum_{i=1}^n(x_i^2)$，$B=\sum_{i=1}^n(x_i)$，$C=\sum_{i=1}^n(x_iy_i)$，$A=\sum_{i=1}^n(y_i)$，得

     $$\begin{cases} Ak+bB=C\\ Bk+nb=D \end{cases}$$
     $$\begin{cases} k=\frac{Cn-BD}{An-BB}\\ b=\frac{AD-CB}{An-BB} \end{cases}$$

     上面过程繁琐，只适用于直线的最小二乘解。下面将直线斜截式拓展导任意曲线，任意曲线方程$p(x)=p_1x^n+p_2x^{n-1}+\cdots+p_nx+p_{n+1}$。可以看到直线斜截式即，$n=1$时的曲线方程。将曲线方程，写成矩阵乘积的形式：
     

     $$\left( \begin{array}{ccc} x_1 &1 \\ x_2 & 1\\ \vdots & \vdots\\ x_n & 1\\ \end{array} \right) \left( \begin{array}{ccc} p_1\\ p_2\\ \vdots\\ p_n\\ \end{array} \right)= \left( \begin{array}{ccc} y_1\\ y_2\\ \vdots\\ y_n\\ \end{array} \right)$$
     上面乘积形式，即 $AX=B$， $X=(A^TA)^{-1}A^TB$，解出的 $X$就是最小二乘解。

     总结

     斜截式虽然并不能表示竖直直线，但是实际应用中也基本不太可能遇到完全竖直直线，竖直的直线也可以用尽量大的系数$a$表示。上面列出了两种直线系数低最小二乘计算方法，具体使用哪一种可以根据使用环境确定。若模型单一，只有二维直线时候，建议使用第一种具有计算速度快的优点。

     参考

     [1]http://cn.mathworks.com/help/matlab/ref/polyfit.html?searchHighlight=polyfit&s_tid=doc_srchtitle
     [2]https://www.varsitytutors.com/hotmath/hotmath_help/topics/line-of-best-fit