最小二乘法求解步骤

目标：线性回归问题，找到最佳参数使得损失函数最小

一、损失函数定义

1. 线性方程：$y=ax+b$
2. 对于每个样本点 $x^{(i)}$ ，其预测值为 ${\hat{y}}^{(i)}=a{x}^{(i)}+b$
3. 对于每个样本点 $x^{(i)}$ ，其真实值为 $y^{(i)}$
4. 那么损失函数 $loss={\left(y^{(i)}-{\hat{y}}^{(i)}\right)}^2$（使用平方差的形式是为使loss函数连续，方便求导）
5. 那么涵盖所有样本点的损失函数即为:
   $$loss=\sum _{i=1}^n{\left(y^{(i)}-{\hat{y}}^{(i)}\right)}^2$$
6. 将${\hat{y}}^{(i)}=a{x}^{(i)}+b$带入上面的公式中，整理得：$$loss=\sum _{i=1}^n{\left(y^{(i)}-a{x}^{(i)}-b\right)}^2$$
7. 因为$x^{(i)}$和$y^{(i)}$均为已知量，则上面的公式即为随未知量$a$与$b$的变化公式：
   $$J\left(a,b\right)=\sum _{i=1}^n{\left(y^{(i)}-a{x}^{(i)}-b\right)}^2$$

二、最小二乘法（方程形式）

1. 找到合适的a和b，使得$J\left(a,b\right)$尽可能小，使用偏微分方程求极值的方法求解a和b。$$\begin{array}{rlr}\frac{\partial J\left(a,b\right)}{\partial a}=0& & \frac{\partial J\left(a,b\right)}{\partial b}=0\end{array}$$
2. 对b求偏导得：$b=\bar{y}-a\bar{x}$
   $$\begin{array}{rlrl}\frac{\partial J\left(a,b\right)}{\partial b}& =\sum _{i=1}^n\bcancel{2}\left(y^{(i)}-a{x}^{(i)}-b\right)\bcancel{\left(-1\right)}& & \\ & =\sum _{i=1}^n\left(y^{(i)}-a{x}^{(i)}-b\right)& & \\ & =\sum _{i=1}^n{y}^{(i)}-a\sum _{i=1}^n{x}^{(i)}-\sum _{i=1}^{n}b& & \\ & =\sum _{i=1}^n{y}^{(i)}-a\sum _{i=1}^n{x}^{(i)}-nb=0& & \\ & & & \\ b& =\frac{{\sum }_{i=1}^n{y}^{(i)}+a{\sum }_{i=1}^n{x}^{(i)}}{n}& & \text{根据式2.4求得b}\\ & =\bar{y}-a\bar{x}& & \text{最终得到b}\end{array}$$
3. 对a求偏导得：$a=\frac{{\sum }_{i=1}^n\left(x^{(i)}-\bar{x}\right)\left(y^{(i)}-\bar{y}\right)}{{\sum }_{i=1}^n{\left(x^{(i)}-\bar{x}\right)}^2}$
   $$\begin{array}{rlrl}\frac{\partial J\left(a,b\right)}{\partial a}& =\sum _{i=1}^n\bcancel{2}\left(y^{(i)}-a{x}^{(i)}-b\right)\left(\bcancel{-}{x}^{(i)}\right)& & \\ & =\sum _{i=1}^n\left(y^{(i)}-a{x}^{(i)}-b\right)x^{(i)}& & \\ & =\sum _{i=1}^n\left(y^{(i)}-a{x}^{(i)}-\bar{y}+a\bar{x}\right)x^{(i)}& & \text{将公式2.6带入}\\ & =\sum _{i=1}^n\left(x^{(i)}{y}^{(i)}-a{\left(x^{(i)}\right)}^2-x^{(i)}\bar{y}+a\bar{x}{x}^{(i)}\right)& & \text{展开公式}\\ & =\sum _{i=1}^n\left(x^{(i)}{y}^{(i)}-x^{(i)}\bar{y}\right)-a\sum _{i=1}^n\left({\left(x^{(i)}\right)}^2-\bar{x}{x}^{(i)}\right)=0& & \\ & & & \\ a& =\frac{{\sum }_{i=1}^n\left(x^{(i)}{y}^{(i)}-x^{(i)}\bar{y}\right)}{{\sum }_{i=1}^n\left({\left(x^{(i)}\right)}^2-\bar{x}{x}^{(i)}\right)}& & \text{根据式3.5求得a}\\ & =\frac{{\sum }_{i=1}^n\left(x^{(i)}{y}^{(i)}-x^{(i)}\bar{y}-\bar{x}{y}^{(i)}+\bar{x}\cdot \bar{y}\right)}{{\sum }_{i=1}^n\left({\left(x^{(i)}\right)}^2-\bar{x}{x}^{(i)}-\bar{x}{x}^{(i)}+{\bar{x}}^2\right)}& & \text{根据式3.9变换}\\ & =\frac{{\sum }_{i=1}^n\left(x^{(i)}-\bar{x}\right)\left(y^{(i)}-\bar{y}\right)}{{\sum }_{i=1}^n{\left(x^{(i)}-\bar{x}\right)}^2}& & \text{最终得到a}\\ & & & \end{array}\text{\hspace{1em}(3.5)}$$
   $$\bar{y}\sum _{i=1}^n{x}^{(i)}\stackrel{\sum x^{(i)}\iff n\bar{x}}{\leftrightharpoons }n\bar{y}\cdot \bar{x}\leftrightharpoons \bar{x}\sum _{i=1}^n{y}^{(i)}\leftrightharpoons \sum _{i=1}^n{x}^{(i)}\bar{y}\leftrightharpoons \sum _{i=1}^n\bar{x}\cdot \bar{y}\leftrightharpoons \sum _{i=1}^n{y}^{(i)}\bar{x}$$

三、最小二乘法（矩阵形式）

######待续