回归问题经典算法 | 线性回归：梯度下降法

上一篇文章中我们通过对表达式的推导，得到了精度值最高模型参数$\theta$
然而，解析解法并不是工程中的最佳解法，那么究竟哪种解法更用呢？下面我们来接着讲：

一. 线性回归 梯度下降法

结合上一篇文章的推导，我们最终得到
$$L(\theta )=m\ast ln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\ast \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

其中，损失函数就是：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

结合我们前面对损失函数的讨论，通过分析可以得出：

线性回归中，该损失函数必定是凸函数
 
当$\theta$逐渐接近真值时，J值会变小
当$\theta$逐渐原理真值时，J值会变大

这里我们再来重申梯度下降的更新公式：
$${{\theta }_i}^{\prime }={\theta }_i-\alpha \frac{\partial J}{\partial {\theta }_i}$$

这样就解决了线性回归的基本问题，确定模型参数！！！

下面，我们先来计算梯度：

 $J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

      $=\frac{1}{2\ast m}{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2$

若想求得凸函数的最小值，即$\theta$最小值，方法非常明确：求偏导
    对于每一个${\theta }_i$（$0\le i\le N$）求导，即为：
$$\{\begin{array}{l}\\ \frac{\partial J}{\partial {\theta }_0}=\frac{1}{m}\left[({\hat{y}}^{(1)}-y^{(1)})x_0^{(1)}+...+({\hat{y}}^{(m)}-y^{(m)})x_0^{(m)}\right]\\ \frac{\partial J}{\partial {\theta }_1}=\frac{1}{m}\left[({\hat{y}}^{(1)}-y^{(1)})x_1^{(1)}+...+({\hat{y}}^{(m)}-y^{(m)})x_1^{(m)}\right]\\ ...\\ \frac{\partial J}{\partial {\theta }_N}=\frac{1}{m}\left[({\hat{y}}^{(1)}-y^{(1)})x_N^{(1)}+...+({\hat{y}}^{(m)}-y^{(m)})x_N^{(m)}\right]\end{array}$$

这里简单解释下上面这组公式：
 
首先明确，整个公式只有 $\hat{y}$含有未知数$\theta$
    $\hat{y}={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...$
那么就会得到
    $J(\theta )=\frac{1}{2\ast m}{\sum }_{i=1}^m({\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_N{x}_N-y^{(i)}{)}^2$
 
假设，现在我想求${\theta }_0$的梯度，也就相当于
    我需要求所有样本中${\theta }_0$的梯度之和
则：

第一个样本${\theta }_0$的梯度值为：$\frac{1}{m}({\hat{y}}^{(1)}-y^{(1)})x_0^{(1)}$
第二个样本${\theta }_0$的梯度值为：$\frac{1}{m}({\hat{y}}^{(2)}-y^{(2)})x_0^{(2)}$
…
PS：复合函数求导

因此，$\frac{1}{m}\left[({\hat{y}}^{(1)}-y^{(1)})x_0^{(1)}+...+({\hat{y}}^{(m)}-y^{(m)})x_0^{(m)}\right]$为m个样本求得的平均梯度
 
【注意】
求导结果中的$\frac{1}{m}$作用为：避免受到样本数量的影响
 
然而，在数据不变的前提下，无论是否有$\frac{1}{m}$，公式求得的样本总梯度是不变的；

转化为矩阵：
$$\frac{\partial J}{\partial \theta }=\frac{1}{m}{X}^T(\hat{y}-y)$$

因此，申梯度下降的更新公式也就变成了
$${\theta }^{\prime }=\theta -\alpha \frac{1}{m}{X}^T(\hat{y}-y)$$

---

本次文章分享就到这，有什么疑问可在评论区留言

PS：本文相关代码存放位置

     线性回归 梯度下降代码实现（非linear-model版）

感谢阅读~

---