梯度
梯度简单来说,例如有 y=f(x0,x1)像这样的全部由变量的偏导数组成的向量称为梯度(gradient)。实际上,梯度会指向各点处的函数值降低的方向。更严格的讲,梯度指示的方向是各点处的函数值减少最多的方向。为什么这么说,因为方向导数=cos()×梯度,而是方向导数的方向和梯度方向的夹角。所以,所有的下降方向中,梯度方向下降的最多。梯度法神经网络的主要任务是在学习时找到最优的参数(权重和偏置),这个最优参数也就是损失函数最小时的参数。但是,一般情况下,损失函数比较复杂,...
原创
2020-05-22 08:01:51 ·
2015 阅读 ·
0 评论