吴恩达深度学习笔记(13)-多样本梯度下降和向量化处理多批次数据

m 个样本的梯度下降(Gradient Descent on m Examples)

在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。

首先，让我们时刻记住有关于损失函数就J(w,b) 的定义。

当你的算法输出关于样本y 的 a(i)， a(i)是训练样本的预测值，即：

图片描述(最多50字)
所以我们在前面展示的是对于任意单个训练样本，如何计算微分当你只有一个训练样本。

因此dw_1，dw_2和db 添上上标i表示你求得的相应的值。

如果你面对的是我们在之前演示的那种情况，但只使用了一个训练样本(x^(i),y(i)) 。

现在你知道带有求和的全局代价函数，实际上是1到m项各个损失的平均。

所以它表明全局代价函数对w1的微分，w1的微分也同样是各项损失对w1微分的平均。