一元线性回归方程的参数估计

  这篇文章详细推导了一元线性回归方程的参数解，供新手朋友参考。
  假定一元线性回归方程的具体形式为
$$y=a+bx\text{\hspace{1em}(1)}$$
现在，为确定参数$a,b$进行了$n$次观测，观测结果为：
$$\begin{array}{cccccc}i& \text{1}& \text{2}& \text{3}& \cdots & \text{n}\\ x& x_1& x_2& x_3& \cdots & x_n\\ y& y_1& y_2& y_3& \cdots & y_n\end{array}$$
  参数估计即从这$n$组数据中解出$a,b$。由于观测不可避免的带有误差（观测仪器、人为或环境因素引起），故$n$组方程
$$\{\begin{array}{c}{y}_1=a+b{x}_1\\ y_2=a+b{x}_2\\ ⋮\\ y_n=a+b{x}_n\end{array}\text{\hspace{1em}(2)}$$
不相容（为矛盾方程组）。为消除矛盾并确定$a,b$的最佳估值，可采用最小二乘法来求解，目标函数为
$$Q=\sum _{i=1}^n{\left(y_i-a-b{x}_i\right)}^2=min\text{\hspace{1em}(3)}$$
由于 $Q$是关于$a,b$的凸函数（《南瓜书》），根据凸函数极值特性，可知在$\frac{\partial Q}{\partial a}=0$与$\frac{\partial Q}{\partial b}=0$对应的$a,b$处取得极小值（最小值）。
  $Q$关于$a,b$的偏导数如下
$$\frac{\partial Q}{\partial a}=\sum _{i=1}^{n}2\left(y_i-a-b{x}_i\right)\cdot (-1)=2\sum _{i=1}^n\left(a+b{x}_i-y_i\right)\text{\hspace{1em}(4)}$$
$$\frac{\partial Q}{\partial b}=\sum _{i=1}^{n}2\left(y_i-a-b{x}_i\right)\cdot (-x_i)=2\sum _{i=1}^n{x}_i\left(a+b{x}_i-y_i\right)\text{\hspace{1em}(5)}$$
当令$(4)=0$可得：
$$\sum _{i=1}^n\left(a+b{x}_i-y_i\right)=0⟹na+b\sum _{i=1}^n{x}_i-\sum _{i=1}^n{y}_i=0⟹a=\bar{y}-b\bar{x}\text{\hspace{1em}(6)}$$
令$(5)=0$并代入式$(6)$可得：
$$\sum _{i=1}^n{x}_i\left(a+b{x}_i-y_i\right)=0⟹a\sum _{i=1}^n{x}_i+b\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i{y}_i=0⟹b=\frac{{\sum }_{i=1}^n\left(x_i{y}_i-\bar{y}{x}_i\right)}{{\sum }_{i=1}^n\left(x_i^2-\bar{x}{x}_i\right)}\text{\hspace{1em}(7)}$$
再顾及
$$\sum _{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)=\sum _{i=1}^n\left(x_i{y}_i-\bar{y}{x}_i\right)and\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2=\sum _{i=1}^n\left(x_i^2-\bar{x}{x}_i\right)$$
则一元线性回归方程的参数解为：
$$b=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2}\text{\hspace{1em}(8)}$$
$$a=\bar{y}-b\bar{x}\text{\hspace{1em}(9)}$$
  以上。