学过神经网络的都知道,神经网络就是用多元微分来求导,参数每次加上这个参数的负梯度,从而不断地靠近极小值,减少损失。这只是一个大概的过程。其中具体的步骤可能更加复杂。比如多元微分反向传播的时候,具体怎么求值,怎么链接?这里给出一篇文章,看了以后会有很大的启迪。反向传播推导。其次为什么通过不断地求负梯度就能减少损失呢?这里也给出一篇文章,都是我自己摸索过来地,对我启迪很大,感谢。SGD前向传播 —forward梯度清零损失函数地loss — backward 会将梯度值封印在每一个参数内陆优化方法 — optim更新梯度 — step 将梯度值进行更新。