Cusco23的博客

原创 梯度的概念

对于每个参数，我们可以计算其对应的梯度，表示损失函数在该参数处的变化率。通过使用梯度，我们可以确定当前参数的更新方向和步长，以便在参数空间中朝着减小损失的方向进行调整。反向传播算法利用链式法则，沿着计算图从损失函数向后传播，计算每个参数的梯度。神经网络模型是一个非线性函数，其参数与损失函数之间存在复杂的关系。我们的目标是通过最小化损失函数来调整模型的参数，使其能够更好地拟合训练数据。在每个训练批次中，我们计算了损失函数关于模型参数的梯度。来更新模型的参数，使其朝着减小损失的方向优化。