2.4 吴恩达《神经网络与深度学习》——梯度下降法

【上节回顾】在上一讲里，我们学习了logistic回归模型，也知道了损失函数。损失函数，是衡量单一训练样例的效果。你还知道了成本函数，成本函数用于衡量参数w和b的效果，在全部训练集上来衡量。

下面我们讨论如何使用梯度下降法，来训练或学习训练集上的参数w和b。

回顾一下，这里是熟悉的logistic回归算法。第二行是成本函数J，成本函数J是参数w和b的函数，它被定义为平均值，即1/m的损失函数之和。损失函数可以衡量你的算法的效果。每一个训练样例，都输出y^（i），把它和与基本真值标签y^(i)进行比较，等号右边展开完整的公式。成本函数衡量了，参数w和b在训练集上的效果。

要习得合适的参数w和b，很自然地就想到，我们想找到使得成本函数J（w，b）尽可能小的w和b。

下面来看看梯度下降法：

这个图中的横轴，表示空间参数w和b。在实践中，w可以是更高维的。

但为了方便绘图，我们让w是一个实数，b也是一个实数，成本函数J（w，b）是在水平轴w和b上的曲面，曲面的高度表示了，J（w，b）在某一点的值。