吴恩达之神经网络和深度学习-2.4梯度下降法

梯度下降
概述：$\hat{y}=\sigma(w^{T}x+b),\sigma(z)=\frac{1}{1+e^{-z}}$
$J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})=-\frac{1}{m}\sum_{i=1}^{m}y^{(i)}log\hat{y}^{(i)}+(1-y^{(i)})log(1-\hat{y}^{(i)})$
想要找到w，b最小的值

以下为个人阐述观点：
学过导数的我们知道，一个函数对某一点进行求导，首先是求出该点的斜率，该点的导数值即为斜率。

如上所示的简单的一维图像是一个凹函数，使w点最低，就要使得w逐步缩小。如下公式：
$w:=w-\alpha \frac{\mathrm{d} J{(w)}}{\mathrm{d}w}$
其中$\alpha$是学习率，一般非常小，在0.001-0.1之间。：=表示循环赋值$\frac{\mathrm{d} J{(w)}}{\mathrm{d}w}$为对w进行求导，即可以转化为$w:=w-\alpha{dw}$,可使得w自行找到最低点。当w处于左边时，斜率为负数，$\alpha{dw}$为负数，$-\alpha{dw}$为正数，$w-\alpha{dw}$将会逐步增加，达到最低点。
同样在高纬度中，有两个函数或多个函数，则对其进行求偏导。如下公式所示：
$w:=w-\alpha\frac{\partial J(w,b)}{\partial w}$
$b:=b-\alpha\frac{\partial J(w,b)}{\partial b}$