在之前的学习中,已经看到了如何计算导数,同时把梯度下降法应用到逻辑回归的一个训练样本上。现在要把它应用在m个训练样本上。
首先,时刻记住有关于成本函数J(w,b)的定义,前面介绍了针对单个训练数据怎么计算导数。
全局成本函数,是一个求和,实际上是1到m项损失函数和的平均,它表明全局成本函数对
w
1
w_1
w1的导数也同样是各项损失函数对
w
1
w_1
w1导数的平均,我们已经演示了怎么对单个训练数据求导数的运算。我们真正需要做的是计算这些导数并求平均,这会得到全局梯度值,这能够把它直接应用到梯度下降算法中。