最小二乘法拟合直线

问题描述：

已知变量(x,y)的一组观测数据，求一条直线能很好的拟合那些观测数据。

---

解决方法：

建立一元线性回归模型

$$Y=\beta_{0}x+\beta_{1}+\epsilon$$ $$E\epsilon=0,D\epsilon=DY$$

---

要使得一条直线能很好的拟合观测点数据，这要求该直线与数据点的偏差最小，该偏差可以用残差平方和来表示：

$$Q(\beta_{0},\beta_{1})=\sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1}x_{i})^2$$

---

为求$Q$的最小值，对$\beta_{0}$和$\beta_{1}$分别求偏导并令其等于$0$，得出：

$$\frac{\partial Q}{\partial \beta_{0}}=-2\sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1}x_{i})^2$$

$$\frac{\partial Q}{\partial \beta_{1}}=-2\sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta{1}x_{i})x_{i}$$
可得到如下等式：
$$\beta_{0}n+\beta_{1}\sum_{i=1}^{n}x_{i}=\sum_{i=1}^{n}x_{i}$$ $$\beta_{0}\sum_{i=1}^{n}+\beta_{1}\sum_{i=1}^{n}x_{i}^2=\sum_{i=1}^nx_{i}y_{i}$$
令：
$$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$$ $$\bar{y}=\frac{1}{n}\sum_{i=1}^{n}y_{i}$$
推出：
$$\beta_{1}=\frac{\sum_{i=1}^nx_{i}y_{i}-n\bar{x}\bar{y}}{\sum_{i=1}^nx_{i}^2-n(\bar{x})^2}$$ $$\beta_{0}=\bar{y}-\beta_{1}\bar{x}$$

---

可得到拟合的直线方程：

$$y=\beta_{0}+\beta_{1}x$$

代码如下：

void LineLeastSquareMethod(float* pPoint,int pointNum,float &k,float &b)
{

    if (NULL==pPoint || 0==pointNum)
    {
        return;
    }

    int i;
    float xMulYSum=0;//x*y的和
    float xSquarSum=0;//x平方和
    float xAvg=0;//x均值
    float yAvg=0;//y均值
    float x,y;

    for (i=0;i<pointNum;i++)
    {
        x=pPoint[i*2];
        y=pPoint[i*2+1];
        xAvg+=x;
        yAvg+=y;

        xMulYSum+=(x*y);
        xSquarSum+=(x*x);
    }

    xAvg/=pointNum;
    yAvg/=pointNum;

    k=(xMulYSum-pointNum*xAvg*yAvg)/(xSquarSum-pointNum*xAvg*xAvg);
    b=yAvg-k*xAvg;
}