weixin_46942074的博客

视频链接（刘二大人）：https://www.bilibili.com/video/BV1Y7411d7Ys。PyTorch深度学习实践-反向传播。

如果函数为一个带有鞍点的损失函数，如果每次只用其中一个样本，但每个样本都有噪声，则引入随机噪声，引入随机性，更新的过程时，就有可能跳过鞍点。学习视频链接（刘二大人）：https://www.bilibili.com/video/BV1Y7411d7Ys。梯度下降算法用的比较少，随机梯度下降算法是梯度下降算法的一个引申。cost如果先下降再上升，即训练发散，常见原因：学习率太大。梯度下降算法：得到的不一定是全局最优，但一定是局部最优的。更新权重的方法：Update，学习率越小越好。