本文介绍了批量梯度下降法用于优化深度学习模型的成本函数。通过计算每个训练样本的导数并求平均，得出全局梯度，进而更新权重和偏置。在logistic回归中，这种方法涉及两个for循环，一是遍历样本，二是遍历特征，这在大规模数据集上效率低下。在实际应用中，通常会采用向量化操作以提高计算速度。
成本函数 J（w,b）的定义 ==>
一个平均值，从i=1到m的损失函数L之和的平均值。其中，这个损失函数L是当算法在样本（x,y）上输出了 ai。
ai是训练样本的预测值，也就是sigmoid（zi）
在之前，我们做的是对于任意单个训练样本，如何计算导数，即当值有一个训练样本时，计算dw1(i),dw2(i),db(i)。
已知全局成本函数是一个求和的过程，从1到m项的损失函数和的平均值。由此可知 ==>
全局成本函数 J(w,b) 对 w1 的导数 就等于 >
这个导数看起来复杂，其实
这个部分，在之前就已经计算过，就是如何对单个训练样本进行计算，即>
所以，
最低0.47元/天 解锁文章
231
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
