- 博客(3)
- 收藏
- 关注
RSS订阅原创 反向传播更新梯度的作用：
反向传播求梯度，就像我们站在山上的某个位置（想当于我们现在模型有的具体参数信息），想要以最佳的路线去到山下（取到最好的参数数据，使得损失值是最小）。首先，直观的方法就是环顾四周，向下山最快的方向走一步（数据里面体现为反向梯度走一个学习率），然后再次重复（环顾四周，找到最快的方向，再走一步），直到下山——这样的方法便是朴素的梯度下降——当前的海拔是我们的目标函数值，而我们在每一步找到的方向便是函数梯度的反方向（梯度是函数上升最快的方向，所以梯度的反方向就是函数下降最快的方向）。疑惑一：得到梯度有什么用？
2024-03-26 18:45:57
333
原创 深度学习模型训练的一般套路
首先，直观的方法就是环顾四周，向下山最快的方向走一步（数据里面体现为反向梯度走一个学习率），然后再次重复（环顾四周，找到最快的方向，再走一步），直到下山——这样的方法便是朴素的梯度下降——当前的海拔是我们的目标函数值，而我们在每一步找到的方向便是函数梯度的反方向（梯度是函数上升最快的方向，所以梯度的反方向就是函数下降最快的方向）。损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。
2024-03-26 18:40:25
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人