吴恩达机器学习笔记系列（五）——梯度下降

一、gradient descent （梯度下降）

1、概念：

线性回归的目的就是找出使得误差（损失函数）最小的参数值。可以用梯度下降来确定 参数的大小。

梯度下降是一种迭代方法，能够求解局部最小值，结果与初始点的选取有关。为了找到最小值，从某一点开始，每次都往梯度下降最快的方向移动。如下图所示，当凹处不止一个时，选择不同初始点可能得到的结果差别很大。

---

2、更新规则：

对于线性回归的梯度下降的更新规则为：

$$\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)$$
其中j=0,1，“：=”表示“赋值”，例如a:=b表示把b的值赋给a； $\alpha$是学习率（learning rate）；线性回归中参数 $\theta$只有两个值，在其他更复杂的回归中可能包含更多个参数，如下面的式子， $\theta_i$表示第 i 个参数，也表示参数 $\theta$的第 i 个分量。

–

• 练习题：

注：
$\theta_0=\theta_0+\sqrt{\theta_0\theta_1}=1+\sqrt{1\times2}=1+\sqrt2$ ;

θ1=θ1+