不会敲代码的小予的博客

原创 【Pytorch】 1.1人工神经网络基础

我们知道当权重发生变化的时候，损失值也会发生变化，整体看这个变化关系是非线性的，但是我们把这个关系放到局部，在某一权重值处，当权重增加时，它的损失值变化无非是变大或者变小（省略不变情况），这样我们就可以近似作为线性的变化，如图所示，在此处损失值随权重的增大而增大。可以通过修改其中的权重，我们把其中一个权重给它一个小小的变化，这样就会获得新的权重，以及会计算出一个新的输出值，同时可以计算出新的损失值，我们的目的是得到最小的损失值，只需要大量的更新权重，最终能够得到我们的最佳权重。分别是各个输入变量的权重。