梯度下降法在线性拟合中的初级应用1（含matlab小案例）

本文主要是对自己初学梯度下降法（Gradient descent，GD）过程的一个小结，如有理解偏颇，万分感激高手点拨。

1 梯度下降法基础知识

鉴于这些基础知识前人已经介绍过很多，可以参考梯度下降算法原理讲解——机器学习和利用梯度下降法实现线性回归的算法及matlab实现，在此仅强调如下：
用大学高数的知识记住，梯度：
1）单变量的函数（如$f(x)=x^2$)，梯度就是函数的导数：$\frac{df(x)}{dx}=2x$，如果这个导数在某一区间内为正，则函数在这个区间内递增，反之递减（也即所谓的梯度下降）；
2）多变量的函数（如$f(x_1,x_2,x_3)=5{x_1}^2+12{x_2}^3-2{x_3}^4$）： 梯度就是函数的各个偏导数$⟨\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\frac{\partial f}{\partial x_3}⟩=⟨10x_1,36x_2^2,8x_3^3⟩$；

2 具体案例

废话不多说了，直接上个小案例。

• 问题
  给你一组统计得到的数据集：
  $x=[25,27,31,33,35];$
  $y=[110,115,155,160,180];$
  其图像如下：
  
  采用最基本的线性回归方法对其进行拟合：
  回归模型：$\hat{y}=ax+b$，其中$\hat{y}$是利用这个回归模型估计到的$y$值,（$\hat{y}-y$代表估计误差），$a$和$b$是我们选择的这个模型的未知参数；
  现在需要根据上面得到的数据集求出这两个未知参数：$a$和$b$。

• 定义代价函数
  一般选用估计误差的均方差作为代价函数：

$$J=\frac{1}{n}\sum _{i=1}^n{({\hat{y}}_i-y_i)}^2=\frac{1}{n}\sum _{i=1}^n{(a{x}_i+b-y_i)}^2$$

其中$n$代表样本点数，例如上述数据集的$n=5$。
注意：根据代价函数中所使用的的样本点数多少，梯度下降法大家族，还分为批量（batch）梯度下降法、随机梯度下降法和小批量梯度下降法，本文所用为批量（batch）梯度下降法，其余两种很简单不再赘述。

• 目标
  通过让估计误差最小（也即让上述代价函数